策略7 分鐘可讀完

用理論學撲克 #1 : 在 AKQ 遊戲中探討數學上最優的價值注碼大小

2025年3月16日

としき

東京大学大学院情報理工学系研究科に所属。主にゲームAIや自然言語アルゴリズムの研究を専門とする鶴岡研究室にて活動。CLOViZ株式会社にてPOKER Q'zの開発もリード。

1. 前言

在撲克中，決定適當的價值注碼大小，對於最大化期望值（）非常重要。本文將以簡單的 AKQ 遊戲為主題，深入探討價值牌的最優注碼大小。

2. 什麼是 AKQ 遊戲？

AKQ 遊戲是為了學習撲克策略的基礎而設計的簡單模型遊戲。雖然有各種變體，但這裡將依照下列規則說明。

玩家
本遊戲由 Hero（自己）與 Villain（對手）兩人進行。
卡片
使用的卡片只有 A, K, Q 三張，強弱順序為 A > K > Q。每位玩家會隨機拿到其中一張，不會出現相同的卡片（也忽略不計）。
Hero 永遠在有位置（IP）、Villain 永遠在沒位置（OOP）進行遊戲。
行動
1. 直接從開始，由 Villain（OOP）先行動。此時 Villain 永遠選擇。
2. 接著 Hero（IP）可以選擇任意注碼大小，或過牌。
3. 若在第 2 步 Hero 過牌，就直接進入。
4. 若在第 2 步 Hero ，Villain 只能二選一：跟注或，不能。
大小
初始底池為 1

透過這個簡單的遊戲模型，可以學習撲克中的下注策略與範圍思考方式。

3. 各手牌的策略建構與純策略

首先，分別整理 Hero 與 Villain 對各的最優打法。

Hero 的最優打法

① A
因為是最強的手牌，鎖定對手的 K，必定進行價值注。
② K
下注的話只會被 A 跟注而輸，Q 則只會蓋牌，所以下注只會虧損。必定過牌。
③ Q
雖然是最弱的手牌，但與自己 A 的價值注混合，以剛好讓對手的 K 感到為難的頻率進行注。

被 Hero 下注後，Villain 的最優打法

④ A
因為必定獲勝，必定跟注。
⑤ K
雖然輸給對手的 A，但為了不讓自己被對手 Q 的詐唬過度逼退，以適當頻率抓詐唬。（以剛好讓對手 Q 猶豫要不要詐唬的頻率跟注）
⑥ Q
因為必定落敗，必定蓋牌。

這裡的 ①・③・④・⑥ 正如「必定」二字所示，最優行動從一開始就已確定，並以 100% 的頻率執行該行動。因為若選擇其他行動，就會如上述般明顯虧損。

像這樣行動頻率為 100% 的策略，稱為「純策略」。一旦弄錯這個純策略，就會造成非常大的 EV 損失，因此必須特別注意。

那麼，純策略無法更改，因此在思考這個遊戲的最優解時，重點在於：

③ 的「Hero 用 Q 詐唬的頻率」，以及
⑤ 的「Villain 用 K 跟注的頻率」。

③・⑤ 的最佳做法是均衡地執行兩種行動，這種策略稱為「混合策略」。如果沒有維持適當的平衡，導致行動偏向某一方，策略就會被對手利用（Exploit）。以下具體說明這種被利用的情形。

關於 ③，如果 Hero 用 Q 下注的頻率過高，就會變成詐唬過多，Villain 會將用 K 抓詐唬跟注的頻率提高到 100% 來利用。反之，如果 Hero 用 Q 下注的頻率過低，A 就會價值過多，Villain 會將用 K 抓詐唬跟注的頻率降為 0% 來利用。

關於 ⑤，如果 Villain 用 K 跟注的頻率過高，就會變成抓詐唬過多，Hero 會將用 Q 詐唬下注的頻率降為 0% 來利用。反之，如果 Villain 用 K 跟注的頻率過低，就會變成抓詐唬過少，Hero 會將用 Q 詐唬下注的頻率提高到 100% 來利用。

那麼，③・⑤ 的適當頻率具體該如何求出來呢？將在下一節說明。

4. 混合策略的頻率與無差別

要找出混合策略的最優頻率，必須先釐清上述 ③・⑤ 中「剛好讓對手的○○感到為難」這句話的精確含義。這裡登場的術語就是「無差別（Indifferent）」。

無差別（Indifferent）是指，在某手牌上，多個行動之間的 EV 相等的狀態。

只看定義不容易理解，所以舉一個具體的例子。例如底池為 100 點，對手向你下了 100 點的滿池注。

如此一來，跟注所需金額為 100 點，跟注後底池會變成 100（底池）＋100（對手的注）＋100（自己的跟注）＝300 點。也就是說，你被要求以支付 100 點換取 300 點的勝負，因此當勝率剛好為 100/300 ＝ 1/3 時，跟注與蓋牌的期望值同樣為 0。

這種情況稱為 「跟注與蓋牌的無差別」。一般而言，處於無差別狀態的手牌，為了維持平衡，往往會保留多種行動作為選項。

而本次決定 ③・⑤ 混合策略組成的關鍵，就是將頻率調整到讓對手的特定手牌剛好處於無差別狀態。

具體來說：

③ Hero 的 Q，要調整下注頻率，使 Villain 的 K 處於「跟注與蓋牌的無差別」狀態。
⑤ Villain 的 K，要調整跟注頻率，使 Hero 的 Q 處於「下注與過牌的無差別」狀態。

5. 僅限定注碼為底池 50% 的 AKQ 遊戲最優解

為了便於理解，本節先將 Hero 的注碼大小限定為底池 50%（0.5）來思考。

《Hero 的策略》

Hero 用 A 以全頻率（1）進行價值注，用 Q 以最優頻率（ $f_{Q}$ ）進行詐唬注，採取讓對手 K 的跟注與蓋牌期望值相同的策略。Villain 用 K 跟注時，會得到以下收益。

Hero 持 A（1 組合）... -0.5（損失用於跟注的 0.5）
Hero 持 Q（ $f_{Q}$ 組合）... 1 + 0.5（獲得底池的 1 與對手的注額 0.5）

而 Villain 用 K 蓋牌時，所持籌碼不增不減，因此收益為 0。

由（K 的跟注期望值）＝（K 的蓋牌期望值），用數學式表示如下：

$\frac{1 ・ ( - 0.5 ) + f _{Q} ・ ( 1 + 0.5 )}{1 + f _{Q}} = 0$

解開後可得 $f_{Q} = \frac{1}{3}$ 。

《Villain 的策略》

另一方面，Villain 用 K 以最優頻率（ $f_{K}$ ）跟注，採取讓對手 Q 的下注與過牌期望值相同的策略。

Hero 用 Q 下注時，會得到以下收益。

Villain 持 A（1 組合）... -0.5（被跟注而輸）
Villain 持 K 並跟注（ $f_{K}$ 組合）... -0.5（被跟注而輸）
Villain 持 K 並蓋牌（ $1 - f_{K}$ 組合）.. 1（逼退對手並獲得底池的 1）

而 Hero 用 Q 過牌時，必定在攤牌時落敗，所持籌碼不增不減，因此收益為 0。

由（Q 的下注期望值）＝（Q 的過牌期望值），用數學式表示如下：

$\frac{1 ・ ( - 0.5 ) + f _{K} ・ ( - 0.5 ) + ( 1 - f _{K} ) ・ 1}{2} = 0$

解開後可得 $f_{K} = \frac{1}{3}$ 。

將以上整理，Hero 與 Villain 的最優策略如下。

Hero 的策略

Hero 的手牌	50% 底池下注的頻率	過牌頻率
A	1 (100%)	0 (0%)
K	0 (0%)	1 (100%)
Q	0.3333 (33.33%)	0.6667 (66.67%)

Villain 的策略（相對於 Hero 的注 0.5）

Villain 的手牌	跟注頻率	蓋牌頻率
A	1 (100%)	0 (0%)
K	0.3333 (33.33%)	0.6667 (66.67%)
Q	0 (0%)	1 (100%)

6. 注碼為任意單一尺寸（b）時的 AKQ 遊戲最優解

前一節將注碼大小限定為 0.5 來思考最優解。完全比照同樣的方式，也可以考慮注碼大小為 b（常數）時的最優解。將先前兩式中的 0.5 換成 b，得到：

$\frac{1 ・ ( - b ) + f _{Q} ・ ( 1 + b )}{1 + f _{Q}} = 0$

$\frac{1 ・ ( - b ) + f _{K} ・ ( - b ) + ( 1 - f _{K} ) ・ 1}{2} = 0$

解開後可得 $f_{Q} = \frac{b}{1 + b}$ ， $f_{K} = \frac{1 - b}{1 + b}$ 。

將以上整理，Hero 與 Villain 的最優策略如下。

Hero 的策略

Hero 的手牌	注 $b$ 的頻率	過牌頻率
A	1	0
K	0	1
Q	$\frac{b}{1 + b}$	$\frac{1}{1 + b}$

Villain 的策略（相對於 Hero 的注 $b$ ）

Villain 的手牌	跟注頻率	蓋牌頻率
A	1	0
K	$\frac{1 - b}{1 + b}$	$\frac{2 b}{1 + b}$
Q	0	1

這裡若注意 $f_{K} = \frac{1 - b}{1 + b}$ ，會發現當 b 大於 1（Hero 下超池注）時， $f_{K}$ 會變成負值，發生奇怪的結果。這是怎麼回事呢？

一般來說，超池詐唬所需的詐唬成功率會超過 50%。Hero 用 Q 詐唬時，Villain 持 A 或 K。但是，Villain 絕對不會蓋掉 A，因此詐唬成功率不可能超過 50%。

也就是說，可以得出 Hero 在 AKQ 遊戲中不應該進行超池詐唬的結論。既然不存在詐唬，自然也不能以該尺寸進行價值注，因此 Hero 在這個遊戲中不會使用超池注。所以，以下以 $0 < b \leq 1$ 來思考。

7. 能最大化整體範圍 EV 的 Hero 注碼大小為何？

到目前為止，我們知道了注碼大小為任意單一尺寸（b）時的最優解。接下來才是本文的重點。

其實，Hero 的 K・Q 期望值（EV）不會隨注碼大小（b）而改變。因為：

Hero 的 K...必定過牌，在攤牌時輸給 A、贏過 Q，所以有 50% 的機率獲得底池 1。也就是說 EV 恆為 0.5。
Hero 的 Q...因為對手 K 的跟注頻率，詐唬注與放棄過牌處於無差別狀態，所以 EV 恆為 0。

正因如此。也就是說，EV 會隨注碼大小變化的只有 A 的情況，Hero 的最優注碼大小，就是 Hero 持 A 時能最大化 EV 的金額。那麼，就來實際計算注碼大小為 b 時，Hero 持 A 下注的 EV 吧。

$(H er o 持 A 的 E V) = (被跟注的機率) ・ (1 + b) + (被蓋牌的機率) ・ 1$

被跟注的機率，是對手持 K（ $\frac{1}{2}$ ）且選擇跟注（ $\frac{1 - b}{1 + b}$ ）時，

因此乘積為 $\frac{1}{2} \frac{1 - b}{1 + b}$ 。將此設為 $P (b)$ ，

$(H er o 持 A 的 E V) = P (b) ・ (1 + b) + (1 - P (b)) ・ 1 = b P (b) + 1 = \frac{1}{2} \frac{b ( 1 - b )}{1 + b} + 1$

除去常數部分，只需求出使 $\frac{b ( 1 - b )}{1 + b}$ 最大的 b 即可。

$\frac{b ( 1 - b )}{1 + b} = \frac{- b ( 1 + b ) + 2 ( 1 + b ) - 2}{1 + b} = 2 - (b + \frac{2}{1 + b}) = 3 - ((1 + b) + \frac{2}{1 + b})$

因此根據算術平均與幾何平均的關係，當 $1 + b = 2$ ，即 $b = 2 - 1 \approx 0.414$ 時， $\frac{b ( 1 - b )}{1 + b}$ 會取得最大值 $3 - 22$ 。

這代表 Hero 的最優注碼大小，是能最大化 A 的 EV 的底池 41.4%。明明是在思考撲克，注碼大小卻莫名出現了根號。真不可思議。

另外，把剛才求出的最大值代入原式，

$(H er o 持 A 的 E V 最大值) = \frac{1}{2} ・ (3 - 22) + 1 = \frac{5}{2} - 2 \approx 1.086$

即可得到如上結果。如果無法下注，A 的 EV 會是 1，因此可以說，Hero 處於有位置（IP）確實有助於提升整體範圍的 EV。

8. 總結

這篇文章難度較高、篇幅也長，感謝您讀到這裡。本文探討了 Hero 的注碼大小對期望值（EV）的影響。結論簡述如下：

AKQ 遊戲是簡化版的撲克，深入探討它，就能掌握實戰撲克中使用的各種理論。
價值牌在不會被對手加注的條件下，存在能最大化 EV 的最優注碼大小。

透過分析 AKQ 遊戲，可以深入理解撲克中注碼大小的選擇與（Game Theory Optimal）策略的思考方式。下一篇將探討更複雜情況下的注碼最佳化，以及實戰中的應用方法。

用理論學撲克 #2：在 AKQJT9 遊戲中探討數學上最佳的下注尺度拆分

東京大學研究所的遊戲 AI 研究人員運用 AKQJT9 遊戲，從數學上闡明為何 GTO 中越強的價值牌會搭配越大的下注尺度。文章以易懂的圖表呈現由 CFR…

pokerqz.com

如果這篇文章對你有幫助，請按讚！

輕鬆上手，認真學牌！
東京大學背景團隊打造的撲克 AI 學習 App『POKER Q'z』下載入口 ↓

查看更多策略的文章

1. 前言

2. 什麼是 AKQ 遊戲？