전략5분이면 읽을 수 있어요

이론으로 배우는 포커 #1 : AKQ 게임에서 수학적으로 최적의 밸류 벳 사이즈를 찾다

2025년 3월 16일

としき

東京大学大学院情報理工学系研究科に所属。主にゲームAIや自然言語アルゴリズムの研究を専門とする鶴岡研究室にて活動。CLOViZ株式会社にてPOKER Q'zの開発もリード。

1. 서론

포커에서 의 적절한 사이즈를 정하는 것은 기대값()을 극대화하는 데 매우 중요합니다. 이번 글에서는 단순한 AKQ 게임을 소재로 밸류 의 최적 벳 사이즈에 대해 깊이 파고들겠습니다.

2. AKQ 게임이란?

AKQ 게임은 포커 전략의 기초를 배우기 위해 설계된 단순한 모델 게임입니다. 다양한 변형이 있지만, 여기서는 다음 규칙을 기준으로 설명합니다.

플레이어
이 게임은 Hero(자신)와 Villain(상대) 둘이서 진행합니다.
카드
사용하는 카드는 A, K, Q 세 장뿐이며, 각각의 세기는 A > K > Q입니다. 각 플레이어는 이 중 한 장을 랜덤으로 받으며, 같은 의 카드가 나오는 일은 없습니다(슈트도 무시합니다).
Hero는 항상 IP(인포지션), Villain은 항상 OOP(오브포지션)으로 플레이합니다.
1. 에서 바로 시작하며, 처음에 Villain(OOP)이 행동합니다. 이때 Villain은 항상 를 선택합니다.
2. 그다음 Hero(IP)는 원하는 벳 사이즈를 선택하거나 체크백할 수 있습니다.
3. 2에서 Hero가 체크백하면, 그대로 이 됩니다.
4. 2에서 Hero가 벳하면 Villain은 또는 의 두 선택지만 있으며 할 수 없습니다.
사이즈
초기 팟은 1

이 단순한 게임 모델을 통해 포커의 벳 전략과 사고방식을 배울 수 있습니다.

3. 핸드별 전략 구축과 순수 전략

먼저 Hero·Villain별로 각 핸드의 최적 운영을 정리하겠습니다.

Hero의 최적 운영

① A
가장 강한 핸드이므로 상대의 K를 노려 반드시 밸류 벳을 칩니다.
② K
A에게는 반드시 콜을 받아 지고, Q는 폴드할 뿐이므로 벳하면 손해입니다. 반드시 체크합니다.
③ Q
가장 약한 핸드이지만, 우리의 A 밸류 벳과 섞어 상대의 K가 딱 고민할 만한 빈도로 벳을 칩니다.

Hero에게 벳을 받은 후 Villain의 최적 운영

④ A
절대 이기므로 반드시 콜합니다.
⑤ K
상대의 A에게는 지지만, 상대 Q의 블러프에 너무 자주 폴드당하지 않도 적절한 빈도로 합니다.(상대의 Q가 블러프할지 딱 고민할 만한 빈도로 콜합니다)
⑥ Q
절대 지므로 반드시 폴드합니다.

여기서 ①・③・④・⑥은 '반드시'가 붙은 대로 최적 행동이 처음부터 정해져 있어 100%의 빈도로 그 행동을 실행합니다. 그 외의 행동을 고르면 앞서 말한 대로 명백히 손해이기 때문입니다.

이처럼 행동 빈도가 100%인 전략을 '순수 전략'이라고 합니다. 이 순수 전략을 틀리면 매우 큰 EV 손실이 발생하므로 주의가 필요합니다.

자, 순수 전략은 바꿀 수 없으므로 이 게임의 최적해를 생각할 때 중요한 것은,

③의 'Hero의 Q 블러프 빈도'와,
⑤의 'Villain의 K 콜 빈도'입니다.

③・⑤는 각각의 행동을 모두 균형 있게 하는 것이 최적이며, 이런 전략을 '혼합 전략'이라고 합니다. 적절한 균형을 잡지 않고 행동이 한쪽으로 치우치면 상대에게 전략을 당하게 됩니다. 아래에서 그 익스플로잇을 구체적으로 설명하겠습니다.

③에 대해, Hero의 Q 벳 빈도가 너무 높으면 블러프 과다가 되어 Villain은 K의 블러프 캐치 콜 빈도를 100%로 올리는 익스플로잇을 합니다. 반대로 Hero의 Q 벳 빈도가 너무 낮으면 A의 밸류 과다가 되어 Villain은 K의 블러프 캐치 콜 빈도를 0%로 낮추는 익스플로잇을 합니다.

⑤에 대해, Villain의 K 콜 빈도가 너무 높으면 블러프 캐치 과다가 되어 Hero는 Q의 블러프 벳 빈도를 0%로 낮추는 익스플로잇을 합니다. 반대로 Villain의 K 콜 빈도가 너무 낮으면 블러프 캐치 과소가 되어 Hero는 Q의 블러프 벳 빈도를 100%로 올리는 익스플로잇을 합니다.

그렇다면 ③・⑤의 적절한 빈도는 구체적으로 어떻게 구하면 될까요? 다음 섹션에서 설명하겠습니다.

4. 혼합 전략의 빈도와 인디퍼런트

혼합 전략의 최적 빈도를 찾으려면 위 ③・⑤ 문장에 나온 '상대의 ○○을 딱 고민하게 한다'는 말의 정확한 의미를 짚어야 합니다. 여기서 등장하는 것이 ''라는 용어입니다.

인디퍼런트란 어떤 핸드에서 여러 액션 사이의 EV가 같아진 상태를 말합니다.

이것만으로는 이해하기 어려우니 구체적인 예를 들어보겠습니다. 예를 들어 팟이 100점인 상태에서 상대에게 100점의 팟 벳을 받았다고 합시다.

그러면 콜에 필요한 금액은 100점이고, 콜하면 팟이 100(팟)+100(상대의 벳)+100(내 콜)=300점이 됩니다. 즉 100점을 지불해 300점을 얻는 승부를 건 것이므로, 100/300 = 1/3이 정확히 승률일 때 콜과 폴드의 기대값이 0으로 같아집니다.

이 상황을 '콜과 폴드의 인디퍼런트'라고 합니다. 일반적으로 인디퍼런트한 상태의 핸드는 균형을 잡기 위해 그 여러 액션이 선택지로 남는 경향이 있습니다.

그리고 이번에 ③과 ⑤의 혼합 전략 구성을 정하는 열쇠는 상대의 특정 핸드가 인디퍼런트가 되도록 빈도를 조정하는 것입니다.

구체적으로는,

③ Hero의 Q는 Villain의 K가 '콜과 폴드의 인디퍼런트'가 되는 벳 빈도로 조정합니다.
⑤ Villain의 K는 Hero의 Q가 '벳과 체크의 인디퍼런트'가 되는 콜 빈도로 조정합니다.

5. 벳 사이즈를 팟 50%로만 한정한 AKQ 게임의 최적해

이해하기 쉽도록 이 섹션에서는 Hero의 벳 사이즈를 팟 50%(0.5)로 한정해서 생각해 봅니다.

《Hero의 전략》

Hero는 A를 전체 빈도(1)로 밸류 벳하고, Q를 최적 빈도( $f_{Q}$ )로 블러프 벳하며, 상대 K의 콜과 폴드 기대값이 같아지는 전략을 취합니다. Villain의 K가 콜하면 다음과 같은 이득이 됩니다.

Hero가 A(1) ... -0.5(콜에 쓴 0.5를 잃음)
Hero가 Q( $f_{Q}$ 콤보) ... 1 + 0.5 (팟의 1과 상대의 벳액 0.5를 얻음)

그리고 Villain의 K가 폴드하면 보유 칩은 늘지도 줄지도 않으므로 이득은 0이 됩니다.

(K의 콜 기대값) = (K의 폴드 기대값)이므로 이를 수식으로 나타내면,

$\frac{1 ・ ( - 0.5 ) + f _{Q} ・ ( 1 + 0.5 )}{1 + f _{Q}} = 0$

이 됩니다. 이를 풀면 $f_{Q} = \frac{1}{3}$ 입니다.

《Villain의 전략》

한편 Villain은 K를 최적 빈도( $f_{K}$ )로 콜하고, 상대 Q의 벳과 체크 기대값이 같아지는 전략을 취합니다.

Hero의 Q가 벳하면 다음과 같은 이득이 됩니다.

Villain이 A(1콤보) ... -0.5(콜을 받고 짐)
Villain이 K로 콜( $f_{K}$ 콤보) ... -0.5(콜을 받고 짐)
Villain이 K로 폴드( $1 - f_{K}$ 콤보) .. 1(상대를 폴드시켜 팟의 1을 얻음)

그리고 Hero의 Q가 체크하면 반드시 쇼다운에서 지고 보유 칩은 늘지도 줄지도 않으므로 이득은 0이 됩니다.

(Q의 벳 기대값) = (Q의 체크 기대값)이므로 이를 수식으로 나타내면,

$\frac{1 ・ ( - 0.5 ) + f _{K} ・ ( - 0.5 ) + ( 1 - f _{K} ) ・ 1}{2} = 0$

이 됩니다. 이를 풀면 $f_{K} = \frac{1}{3}$ 입니다.

이상을 정리하면 Hero와 Villain의 최적 전략은 다음과 같습니다.

Hero의 전략

Hero의 핸드	Pot 50%의 빈도	check의 빈도
A	1 (100%)	0 (0%)
K	0 (0%)	1 (100%)
Q	0.3333 (33.33%)	0.6667 (66.67%)

Villain의 전략(Hero의 bet 0.5에 대해)

Villain의 핸드	call의 빈도	fold의 빈도
A	1 (100%)	0 (0%)
K	0.3333 (33.33%)	0.6667 (66.67%)
Q	0 (0%)	1 (100%)

6. 벳 사이즈를 임의의 한 사이즈(b)로 한 AKQ 게임의 최적해

앞 섹션에서는 벳 사이즈를 0.5로 한정해 최적해를 생각했습니다. 그것과 완전히 동일하게 벳 사이즈를 b(상수)로 한 최적해도 생각할 수 있습니다. 앞의 두 수식에서 0.5를 b로 바꾸면,

$\frac{1 ・ ( - b ) + f _{Q} ・ ( 1 + b )}{1 + f _{Q}} = 0$

$\frac{1 ・ ( - b ) + f _{K} ・ ( - b ) + ( 1 - f _{K} ) ・ 1}{2} = 0$

입니다. 이를 풀면 $f_{Q} = \frac{b}{1 + b}$ , $f_{K} = \frac{1 - b}{1 + b}$ 가 됩니다.

이상을 정리하면 Hero와 Villain의 최적 전략은 다음과 같습니다.

Hero의 전략

Hero의 핸드	bet $b$ 의 빈도	check의 빈도
A	1	0
K	0	1
Q	$\frac{b}{1 + b}$	$\frac{1}{1 + b}$

Villain의 전략(Hero의 bet $b$ 에 대해)

Villain의 핸드	call의 빈도	fold의 빈도
A	1	0
K	$\frac{1 - b}{1 + b}$	$\frac{2 b}{1 + b}$
Q	0	1

여기서 $f_{K} = \frac{1 - b}{1 + b}$ 에 주목하면, b가 1보다 클 때(Hero가 팟 오버벳을 칠 때) $f_{K}$ 가 음의 값이 되어 이상한 일이 일어난다는 것을 알 수 있습니다. 이는 무슨 뜻일까요.

일반적으로 팟 오버벳 블러프는 필요한 블러프 성공률이 50%를 넘습니다. Hero가 Q로 블러프할 때 Villain은 A나 K를 갖고 있습니다. 그러나 Villain은 A를 절대 폴드하지 않으므로 블러프 성공률이 50%를 넘을 수 없습니다.

즉, Hero는 AKQ 게임에서 팟 오버벳 블러프를 해서는 안 된다는 결론이 도출됩니다. 블러프가 존재하지 않는다면 당연히 그 사이즈의 밸류 벳도 할 수 없으므로, Hero는 이 게임에서 팟 오버벳을 사용하지 않습니다. 따라서 아래에서는 $0 < b \leq 1$ 로 생각합니다.

7. 레인지 전체의 EV를 극대화하는 Hero의 벳 사이즈는?

지금까지 벳 사이즈가 임의의 한 사이즈(b)일 때의 최적해를 알았습니다. 여기서부터가 본론입니다.

사실 Hero의 K·Q 기대값(EV)은 벳 사이즈(b)에 관계없이 변하지 않습니다. 왜냐하면,

Hero의 K... 반드시 체크하고 쇼다운에서 A에게 지고 Q에게 이기므로 50%의 확률로 팟 1을 획득합니다. 즉 EV는 항상 0.5.
Hero의 Q... 상대 K의 콜 빈도에 따라 블러프 벳과 포기 체크가 인디퍼런트한 상태이므로 EV는 항상 0.

이기 때문입니다. 즉 벳 사이즈에 따라 EV가 변하는 것은 A일 때뿐이며, Hero의 최적 벳 사이즈란 Hero가 A를 들고 있을 때 EV를 극대화하는 금액입니다. 그럼 벳 사이즈가 b일 때 Hero의 A 벳 EV를 실제로 계산해 봅시다.

$(H er o 의 A 의 E V) = (콜당할확률) ・ (1 + b) + (폴드당할확률) ・ 1$

콜당할 확률은 상대가 K를 들고 있고( $\frac{1}{2}$ ), 콜을 선택하는( $\frac{1 - b}{1 + b}$ ) 때이므로,

그 곱인 $\frac{1}{2} \frac{1 - b}{1 + b}$ 입니다. 이를 $P (b)$ 라고 두면,

$(H er o 의 A 의 E V) = P (b) ・ (1 + b) + (1 - P (b)) ・ 1 = b P (b) + 1 = \frac{1}{2} \frac{b ( 1 - b )}{1 + b} + 1$

이 됩니다. 상수 부분을 제외하면 $\frac{b ( 1 - b )}{1 + b}$ 가 최대가 되는 b를 구하면 됩니다.

$\frac{b ( 1 - b )}{1 + b} = \frac{- b ( 1 + b ) + 2 ( 1 + b ) - 2}{1 + b} = 2 - (b + \frac{2}{1 + b}) = 3 - ((1 + b) + \frac{2}{1 + b})$

이므로 산술·기하 평균의 관계에 의해 $1 + b = 2$ , 즉 $b = 2 - 1 \approx 0.414$ 일 때 $\frac{b ( 1 - b )}{1 + b}$ 는 최댓값 $3 - 22$ 를 갖습니다.

이것이 뜻하는 바는 Hero의 최적 벳 사이즈는 A의 EV를 극대화하는 팟 41.4%라는 것입니다. 포커를 생각하고 있었는데 어쩐지 벳 사이즈에 루트가 나왔네요. 신기합니다.

또한 방금 구한 최댓값을 원래 수식에 대입하면,

$(H er o 의 A 의 E V 최댓값) = \frac{1}{2} ・ (3 - 22) + 1 = \frac{5}{2} - 2 \approx 1.086$

이 됩니다. 벳을 할 수 없다면 A의 EV는 1이 되므로, Hero가 IP라는 것이 제대로 레인지 전체의 EV 상승에 기여한다고 생각할 수 있습니다.

8. 정리

난이도가 높은 긴 글이 되었지만 여기까지 읽어주셔서 감사합니다. 본 글에서는 Hero의 벳 사이즈가 기대값(EV)에 미치는 영향에 대해 고찰했습니다. 결론을 간결하게 요약하면 다음과 같습니다.

AKQ 게임은 단순화된 포커이며, 이를 자세히 고찰하면 실전 포커에서 쓰는 다양한 이론을 익힐 수 있다.
밸류 핸드에는 상대에게 레이즈당하지 않는 조건에서 EV를 극대화하는 최적의 벳 사이즈가 존재한다.

AKQ 게임 분석을 통해 포커에서의 벳 사이즈 선택과 (Game Theory Optimal) 전략의 사고방식을 깊이 이해할 수 있습니다. 다음 글에서는 더 복잡한 상황에서의 벳 사이즈 최적화와 실전에서의 응용 방법에 대해 고찰하겠습니다.

이론으로 배우는 포커 #2: AKQJT9 게임에서 수학적으로 최적의 벳 사이즈 분할을 탐구하다

도쿄대학 대학원의 게임 AI 연구자가 AKQJT9 게임을 활용해 GTO에서 강한 밸류 핸드일수록 더 큰 벳 사이즈를 쓰는 이유를 수학적으로…

pokerqz.com

이 글이 도움이 되었다면 좋아요를 눌러주세요!

빠르게 제대로 배우기!
도쿄대 출신 개발의 포커 AI 학습 앱 『POKER Q'z』 다운로드는 여기 ↓

전략 기사 더 보기

1. 서론

2. AKQ 게임이란?