전략5분이면 읽을 수 있어요

이론으로 배우는 포커 #2: AKQJT9 게임에서 수학적으로 최적의 벳 사이즈 분할을 탐구하다

2025년 3월 20일

としき

東京大学大学院情報理工学系研究科に所属。主にゲームAIや自然言語アルゴリズムの研究を専門とする鶴岡研究室にて活動。CLOViZ株式会社にてPOKER Q'zの開発もリード。

서론

이 글은 지난 글의 후속편입니다. 아직 읽지 않으셨다면 먼저 그 글을 읽어 주세요.

이론으로 배우는 포커 #1 : AKQ 게임에서 수학적으로 최적의 밸류 벳 사이즈를 찾다

도쿄대 대학원의 게임 AI 연구자가 단순한 AKQ 게임을 소재로 포커의 밸류 벳 최적 사이즈를 수식으로 도출합니다. 팟 대비 벳…

pokerqz.com

이번 주제는 "벳 사이즈 분할"입니다. 에서는 일반적으로 더 강한 밸류 일수 더 큰 벳 사이즈를 사용하는 경향이 있는데, 그 이유는 무엇일까요? 이번에는 이 의문을 토이 게임 "AKQJT9 게임"을 이용해 수학적 관점에서 살펴보겠습니다.

1. AKQJT9 게임이란?

AKQJT9 게임은 이 주제를 다루기 위해 직접 만든 토이 게임으로, 지난 글에서 소개한 "AKQ 게임"의 파생형입니다. AKQ 게임과 비교하면 카드가 3장에서 6장으로 늘어난 것뿐이지만, 그래도 룰을 간단히 복습해 두겠습니다.

플레이어
이 게임은 Hero와 Villain 두 명이 진행합니다.
카드
사용하는 카드는 A K Q J T 9 6장뿐이며, 각각의 강함은 A > K > Q > J > T > 9입니다. 각 플레이어에게는 이 중 1장이 무작위로 나눠지며, 같은 의 카드가 나눠지는 일은 없습니다.
Hero는 항상 IP(인 포지션), Villain은 항상 OOP()으로 플레이합니다.
1. 갑자기 부터 시작되며, 먼저 Villain(OOP)이 행동합니다. 이때 Villain은 항상 를 선택합니다.
2. 그다음 Hero(IP)는 임의의 벳 사이즈를 선택하거나 체크 백할 수 있습니다.
3. 2에서 Hero가 체크 백할 경우, 그대로 으로 갑니다.
4. 2에서 Hero가 벳할 경우, Villain은 또는 두 가지 선택지뿐이며, 할 수 없습니다.
사이즈
초기 팟은 1입니다.

2. 알고리즘으로 계산된 GTO 해

그럼 이 게임의 최적해를 수식으로 계산해 보겠습니다. 다만 직관을 잡기 쉽도록, CFR 알고리즘으로 계산된 GTO 해를 먼저 살펴보겠습니다. (CFR 알고리즘에 대한 자세한 이야기도 기회가 되면 다루고 싶습니다.)

그림 1은 필자가 직접 구축한 도구로 GTO 해를 도식화한 것입니다. 표는 GTO Wizard 스타일로 만들었습니다. 이 표는 실제 포커에서 가 22233(즉 이번 A~9와는 직접적인 관련이 없는 )일 때, Villain이 체크한 후 Hero의 전체 전략을 보여 줍니다.

다만 서로의 는 AA,KK,...99의 6로 한정합니다(는 스페이드·하트 만 사용).

이때 핸드의 강함은 AA > KK > ... > 99이며, 서로 같은 핸드를 가질 수 없으므로 이 상황은 AKQJT9 게임과 동일합니다.

이번에는 15%부터 160%까지 다양한 벳 사이즈 을 준비했습니다. 빨간색은 빅 벳, 주황색은 스몰 벳, 초록색은 체크를 나타냅니다.

너츠인 A가 세컨드 너츠인 K보다 사이즈가 크며, 사이즈 분할이 이루어지고 있음을 알 수 있습니다.

그림 2 그림 1에서 KK의 전략(왼쪽 열은 빈도, 오른쪽 열은 EV. EV는 100배로 표시)

그림 3 그림 1에서 AA의 전략(왼쪽 열은 빈도, 오른쪽 열은 EV. EV는 100배로 표시)

또한 그림 2·그림 3은 핸드가 KK·AA일 때 사용할 전략을 상세히 보여 줍니다. 각 핸드에서 를 최대화하는 벳 사이즈를 쓰는 것이 최선이며, 가 큰 액션일수록 빈도가 큰 것을 알 수 있습니다.

그림 1부터 그림 3까지 보고 AKQJT9 게임에 대해 알 수 있는 점을 정리하면 다음과 같습니다.

《여기까지의 정리》

너츠인 A는 순수하게 빅 벳을 사용합니다. 최적 사이즈는 120%에서 130% 사이, 120% 쪽에 조금 더 가까운 지점에 있을 것 같습니다.
세컨드 너츠인 K는 순수하게 스몰 벳을 사용합니다. 최적 사이즈는 25%에서 30% 사이, 30% 쪽에 조금 더 가까운 지점에 있을 것 같습니다.
인 Q부터 T까지는 순수하게 체크합니다.
가장 약한 9는 A와 K 각각의 밸류 벳에 쓰이는 사이즈를 겸용하며, 적절한 빈도로 벳합니다.

※보충

Q는 밸류 벳을 칠 수 없습니다. Q로 벳하면 상대는 A·K로 확실히 콜하고, 9로 확실히 폴드합니다. 그러면 상대가 J·T로 전 빈도 콜을 한다 해도, 콜을 당한 후의 에퀴티가 50%가 되어 밸류 벳으로 기능하지 않는다는 것을 알 수 있습니다.
T는 블러프 벳하지 않습니다. 블러프는 필요한 콤보 수 기준으로 9만으로도 충분하기 때문입니다(후술).

3. 벳 사이즈를 임의의 두 사이즈로 한 AKQJT9 게임의 최적해

자, 여기서부터는 수학적 고찰에 들어가 보겠습니다.

이 게임에는 사이즈 분할이 있으므로, A에 쓰는 밸류 벳 사이즈를 $b_{A}$ , K에 쓰는 밸류 벳 사이즈를 $b_{K}$ 로 둡니다.

지난 글에서, 어떤 강한 핸드를 사이즈 $b$ 로 순수하게 밸류 벳할 때, 상대의 마지널 핸드를 콜과 폴드에 무차별()하게 만드는 블러프 벳 빈도는 $\frac{b}{1 + b}$ 였습니다. 이번에는 사용하는 벳 사이즈가 두 종류라서, Hero의 최적 전략은 다음과 같습니다.

Hero의 전략

Hero(IP)의 핸드	bet $b_{A}$ 빈도	bet $b_{K}$ 빈도	check 빈도
A	1	0	0
K	0	1	0
Q , J , T	0	0	1
9	$\frac{b _{A}}{1 + b _{A}}$	$\frac{b _{K}}{1 + b _{K}}$	$1 - \frac{b _{A}}{1 + b _{A}} - \frac{b _{K}}{1 + b _{K}}$

이 전략에 대해 Villain은 다음과 같이 응답합니다. 여기서는 일단 bet $b_{A}$ 에 대한 마지널 핸드(K부터 T)의 블러프 캐치 빈도를 $f_{1}$ , bet $b_{K}$ 에 대한 마지널 핸드(Q부터 T)의 블러프 캐치 빈도를 $f_{2}$ 로 두겠습니다. (구체적인 값은 지금부터 계산합니다.)

Hero의 bet $b_{A}$ 에 대한 Villain의 전략

Villain의 핸드	call 빈도	fold 빈도
A (1콤보)	1	0
K , Q , J , T (4콤보)	$f_{1}$	$1 - f_{1}$
9 (1콤보)	0	1

Hero의 bet $b_{K}$ 에 대한 Villain의 전략

Villain의 핸드	call 빈도	fold 빈도
A , K (2콤보)	1	0
Q , J , T (3콤보)	$f_{2}$	$1 - f_{2}$
9 (1콤보)	0	1

여기서 지난 글에서, Villain의 최적 블러프 캐치 빈도는 Hero의 약한 핸드가 블러프 벳을 할지 포기하고 체크할지가 무차별이 되는 빈도였습니다. 즉

(Hero의 9의 bet $b_{A}$ EV) = (Hero의 9의 bet $b_{K}$ EV) = (Hero의 9의 check EV)

가 되면 되므로, 다음 식이 성립합니다.

$\frac{1 ・ ( - b _{A} ) + 4 f _{1} ・ ( - b _{A} ) + 4 ( 1 - f _{1} ) ・ 1}{5} = \frac{2 ・ ( - b _{K} ) + 3 f _{2} ・ ( - b _{K} ) + 3 ( 1 - f _{2} ) ・ 1}{5} = 0$

이를 풀면 $f_{1} = \frac{4 - b _{A}}{4 ( 1 + b _{A} )}$ , $f_{2} = \frac{3 - 2 b _{K}}{3 ( 1 + b _{K} )}$ 가 됩니다.

또한 $1 - f_{1} = \frac{5 b _{A}}{4 ( 1 + b _{A} )}$ , $1 - f_{2} = \frac{5 b _{K}}{3 ( 1 + b _{K} )}$ 가 됩니다. (나중에 사용합니다)

4. Hero의 레인지 전체 EV를 최대화하는 $b_{A}, b_{K}$ 는?

서로의 최적 전략을 알았으니, Hero의 레인지 전체 EV를 최대화하는 $b_{A}, b_{K}$ 를 구해 보겠습니다. 지난 글에서 마지널 핸드와 약한 핸드의 EV는 Hero의 벳 사이즈에 의존하지 않는다고 언급했습니다. 따라서 최적의 $b_{A}, b_{K}$ 는 A·K(밸류 핸드) 각각의 EV를 생각하면 구할 수 있습니다.

그럼 실제로 A·K의 EV를 계산해 보겠습니다. A의 EV는 지난 글처럼 계산할 수 있지만, K의 EV에는 주의점이 있습니다. 그것은 K가 상대의 A를 상대로 미스 밸류를 칠 가능성이 있다는 점입니다. 이에 주의하여 Hero의 A의 EV를 $E_{A} (b_{A})$ , Hero의 K의 EV를 $E_{K} (b_{K})$ 라 하면,

$E_{A} (b_{A}) = \frac{4 f _{1} ・ ( 1 + b _{A} ) + ( 4 ( 1 - f _{1} ) + 1 ) ・ 1}{5} = \frac{1}{5} ((4 - b_{A}) + \frac{5 b _{A}}{1 + b _{A}} + 1) = \frac{1}{5} (5 + \frac{5 b _{A}}{1 + b _{A}} - b_{A})$

$E_{K} (b_{K}) = \frac{1 ・ ( - b _{K} ) + 3 f _{2} ・ ( 1 + b _{K} ) + ( 3 ( 1 - f _{2} ) + 1 ) ・ 1}{5} = \frac{1}{5} (- b_{K} + (3 - 2 b_{K}) + \frac{5 b _{K}}{1 + b _{K}} + 1) = \frac{1}{5} (4 + \frac{5 b _{K}}{1 + b _{K}} - 3 b_{K})$

가 됩니다. $E_{A} (b_{A})$ 를 최대화하는 $b_{A}$ 와 $E_{K} (b_{K})$ 를 최대화하는 $b_{K}$ 를, 함수를 미분해서 각각 구해 보겠습니다.

일본 고등학교 수학 III에서 배우는 분수 함수의 미분 공식을 사용하면,

$\frac{d}{d b _{A}} E_{A} (b_{A}) = \frac{1}{( 1 + b _{A} ) ^{2}} - \frac{1}{5}$

$\frac{d}{d b _{K}} E_{K} (b_{K}) = \frac{1}{( 1 + b _{K} ) ^{2}} - \frac{3}{5}$

가 됩니다.

$\frac{d}{d b _{A}} E_{A} (b_{A})$ 와 $\frac{d}{d b _{K}} E_{K} (b_{K})$ 는 모두 단조 감소 함수이므로, 이것들이 0이 되는 $b_{A}$ , $b_{K}$ 가 최적의 벳 사이즈입니다.

이를 풀면 $b_{A} = 5 - 1 \approx 1.236$ , $b_{K} = \frac{5}{3} - 1 \approx 0.291$ 가 됩니다.

이것이 의미하는 바는, Hero의 최적 벳 사이즈는 A일 때 팟 123.6%, K일 때 팟 29.1%라는 것입니다.앞서 알고리즘 결과에서,

너츠인 A는 순수하게 빅 벳을 사용합니다. 최적 사이즈는 120%에서 130% 사이, 120% 쪽에 조금 더 가까운 지점에 있을 것 같습니다.
세컨드 너츠인 K는 순수하게 스몰 벳을 사용합니다. 최적 사이즈는 25%에서 30% 사이, 30% 쪽에 조금 더 가까운 지점에 있을 것 같습니다.

라고 예상했는데, 그 예상이 정확히 맞아떨어지는 것을 알 수 있습니다. 또한 이때 9의 블러프 벳 빈도는,

팟 123.6%가 $\frac{b _{A}}{1 + b _{A}} \approx \frac{1.236}{1 + 1.236} \approx 0.553$

팟 29.1%가 $\frac{b _{K}}{1 + b _{K}} \approx \frac{0.291}{1 + 0.291} \approx 0.225$

가 되며, 둘을 합쳐도 1을 넘지 않습니다. 즉, 블러프 콤보는 9만으로 충분하므로 T까지 블러프에 돌릴 필요가 없다는 뜻입니다.

5. 실전에서 벳 사이즈 분할을 할 때 주의할 점

지금까지 벳 사이즈 분할이 자신의 레인지 EV를 끌어올린다는 이야기를 해왔습니다. 하지만 이를 실제 포커에서 실천할 때는 주의가 필요합니다.

이 게임에서는 Villain에게 레이즈 권한이 없었지만, 실제 포커에서는 레이즈를 당할 수 있습니다.

스몰 벳 레인지에 너츠급 핸드가 전혀 포함되지 않으면, 상대에게 그것이 들통날 경우 으로 폭넓게 된 레이즈를 받게 됩니다.

그렇게 되면 자신의 레인지 EV는 크게 떨어지게 됩니다.

따라서 상대가 레이즈를 적절히 되받아칠 수 있는 실력 있는 플레이어라면, 너츠급 핸드의 일부를 스몰 벳에 넣어 밸런스를 맞춥니다(특히 OOP일 때).

정리

이번에도 난이도가 높은 글이 되었지만, 끝까지 읽어 주셔서 감사합니다. 이 글에서는 GTO가 수행하는 벳 사이즈 분할이 수학적 근거를 지닌 효과적인 플레이임을 설명했습니다.

결론을 간결히 요약하면 다음과 같습니다.

벳 사이즈 분할을 할 경우, 더 강한 밸류 핸드일수록 더 큰 벳 사이즈를 사용하면 EV가 상승한다.
블러프 핸드는 EQ가 낮은 약한 핸드에서 선정하고, 각 벳 사이즈마다 적절한 빈도로 블러프를 한다(실전에서는 가 좋은 핸드일수록 더 큰 블러프 벳을 선택하는 경향이 있다. 이번 게임에는 가 없었다).
실전에서는 상대에게 레이즈 권한이 있으므로, 벳 사이즈 분할을 하더라도 어느 정도 너츠급 핸드를 분산시켜 익스플로잇을 당하는 것을 막아야 한다.

이 글이 도움이 되었다면 좋아요를 눌러주세요!

빠르게 제대로 배우기!
도쿄대 출신 개발의 포커 AI 학습 앱 『POKER Q'z』 다운로드는 여기 ↓

전략 기사 더 보기

서론

1. AKQJT9 게임이란?

2. 알고리즘으로 계산된 GTO 해

3. 벳 사이즈를 임의의 두 사이즈로 한 AKQJT9 게임의 최적해

Hero의 전략

Hero의 bet bA​에 대한 Villain의 전략

Hero의 bet bK​에 대한 Villain의 전략

4. Hero의 레인지 전체 EV를 최대화하는 bA​,bK​는?

5. 실전에서 벳 사이즈 분할을 할 때 주의할 점

정리

빠르게 제대로 배우기!도쿄대 출신 개발의 포커 AI 학습 앱 『POKER Q'z』 다운로드는 여기 ↓

서론

1. AKQJT9 게임이란?

2. 알고리즘으로 계산된 GTO 해

3. 벳 사이즈를 임의의 두 사이즈로 한 AKQJT9 게임의 최적해

Hero의 전략

Hero의 bet bA​에 대한 Villain의 전략

Hero의 bet bK​에 대한 Villain의 전략

4. Hero의 레인지 전체 EV를 최대화하는 bA​,bK​는?

5. 실전에서 벳 사이즈 분할을 할 때 주의할 점

정리

Hero의 bet $b_{A}$ 에 대한 Villain의 전략

Hero의 bet $b_{K}$ 에 대한 Villain의 전략

4. Hero의 레인지 전체 EV를 최대화하는 $b_{A}, b_{K}$ 는?

빠르게 제대로 배우기!
도쿄대 출신 개발의 포커 AI 학습 앱 『POKER Q'z』 다운로드는 여기 ↓

Hero의 bet $b_{A}$ 에 대한 Villain의 전략

Hero의 bet $b_{K}$ 에 대한 Villain의 전략

4. Hero의 레인지 전체 EV를 최대화하는 $b_{A}, b_{K}$ 는?