用理論學撲克 #1 : 在 AKQ 遊戲中探討數學上最優的價值注碼大小

1. 前言

在撲克中，決定適當的價值注碼大小，對於最大化期望值（EV）非常重要。本文將以簡單的 AKQ 遊戲為主題，深入探討價值牌的最優注碼大小。

2. 什麼是 AKQ 遊戲？

AKQ 遊戲是為了學習撲克策略的基礎而設計的簡單模型遊戲。雖然有各種變體，但這裡將依照下列規則說明。

• 玩家
  本遊戲由 Hero（自己）與 Villain（對手）兩人進行。
• 卡片
  使用的卡片只有 A, K, Q 三張，強弱順序為 A > K > Q。每位玩家會隨機拿到其中一張，不會出現相同點數的卡片（花色也忽略不計）。
• 位置
  Hero 永遠在有位置（IP）、Villain 永遠在沒位置（OOP）進行遊戲。
• 行動
  1. 直接從河牌開始，由 Villain（OOP）先行動。此時 Villain 永遠選擇過牌。
  2. 接著 Hero（IP）可以選擇任意注碼大小，或過牌。
  3. 若在第 2 步 Hero 過牌，就直接進入攤牌。
  4. 若在第 2 步 Hero 下注，Villain 只能二選一：跟注或蓋牌，不能加注。
• 底池大小
  初始底池為 1

透過這個簡單的遊戲模型，可以學習撲克中的下注策略與範圍思考方式。

3. 各手牌的策略建構與純策略

首先，分別整理 Hero 與 Villain 對各手牌的最優打法。

Hero 的最優打法

• ① A
  因為是最強的手牌，鎖定對手的 K，必定進行價值注。
• ② K
  下注的話只會被 A 跟注而輸，Q 則只會蓋牌，所以下注只會虧損。必定過牌。
• ③ Q
  雖然是最弱的手牌，但與自己 A 的價值注混合，以剛好讓對手的 K 感到為難的頻率進行詐唬注。

被 Hero 下注後，Villain 的最優打法

• ④ A
  因為必定獲勝，必定跟注。
• ⑤ K
  雖然輸給對手的 A，但為了不讓自己被對手 Q 的詐唬過度逼退，以適當頻率抓詐唬。（以剛好讓對手 Q 猶豫要不要詐唬的頻率跟注）
• ⑥ Q
  因為必定落敗，必定蓋牌。

這裡的 ①・③・④・⑥ 正如「必定」二字所示，最優行動從一開始就已確定，並以 100% 的頻率執行該行動。因為若選擇其他行動，就會如上述般明顯虧損。

像這樣行動頻率為 100% 的策略，稱為 「純策略」。一旦弄錯這個純策略，就會造成非常大的 EV 損失，因此必須特別注意。

那麼，純策略無法更改，因此在思考這個遊戲的最優解時，重點在於：

• ③ 的「Hero 用 Q 詐唬的頻率」，以及
• ⑤ 的「Villain 用 K 跟注的頻率」。

③・⑤ 的最佳做法是均衡地執行兩種行動，這種策略稱為 「混合策略」。如果沒有維持適當的平衡，導致行動偏向某一方，策略就會被對手利用（Exploit）。以下具體說明這種被利用的情形。

關於 ③，如果 Hero 用 Q 下注的頻率過高，就會變成詐唬過多，Villain 會將用 K 抓詐唬跟注的頻率提高到 100% 來利用。反之，如果 Hero 用 Q 下注的頻率過低，A 就會價值過多，Villain 會將用 K 抓詐唬跟注的頻率降為 0% 來利用。

關於 ⑤，如果 Villain 用 K 跟注的頻率過高，就會變成抓詐唬過多，Hero 會將用 Q 詐唬下注的頻率降為 0% 來利用。反之，如果 Villain 用 K 跟注的頻率過低，就會變成抓詐唬過少，Hero 會將用 Q 詐唬下注的頻率提高到 100% 來利用。

那麼，③・⑤ 的適當頻率具體該如何求出來呢？將在下一節說明。

4. 混合策略的頻率與無差別

要找出混合策略的最優頻率，必須先釐清上述 ③・⑤ 中「剛好讓對手的○○感到為難」這句話的精確含義。這裡登場的術語就是「無差別（Indifferent）」。

無差別（Indifferent）是指，在某手牌上，多個行動之間的 EV 相等的狀態。

只看定義不容易理解，所以舉一個具體的例子。例如底池為 100 點，對手向你下了 100 點的滿池注。

如此一來，跟注所需金額為 100 點，跟注後底池會變成 100（底池）＋100（對手的注）＋100（自己的跟注）＝300 點。也就是說，你被要求以支付 100 點換取 300 點的勝負，因此當勝率剛好為 100/300 ＝ 1/3 時，跟注與蓋牌的期望值同樣為 0。

這種情況稱為 「跟注與蓋牌的無差別」。一般而言，處於無差別狀態的手牌，為了維持平衡，往往會保留多種行動作為選項。

而本次決定 ③・⑤ 混合策略組成的關鍵，就是將頻率調整到讓對手的特定手牌剛好處於無差別狀態。

具體來說：

• ③ Hero 的 Q，要調整下注頻率，使 Villain 的 K 處於「跟注與蓋牌的無差別」狀態。
• ⑤ Villain 的 K，要調整跟注頻率，使 Hero 的 Q 處於「下注與過牌的無差別」狀態。

5. 僅限定注碼為底池 50% 的 AKQ 遊戲最優解

為了便於理解，本節先將 Hero 的注碼大小限定為底池 50%（0.5）來思考。

《Hero 的策略》

Hero 用 A 以全頻率（1）進行價值注，用 Q 以最優頻率（$f_Q$）進行詐唬注，採取讓對手 K 的跟注與蓋牌期望值相同的策略。Villain 用 K 跟注時，會得到以下收益。

• Hero 持 A（1 組合）... -0.5（損失用於跟注的 0.5）
• Hero 持 Q（$f_Q$ 組合）... 1 + 0.5（獲得底池的 1 與對手的注額 0.5）

而 Villain 用 K 蓋牌時，所持籌碼不增不減，因此收益為 0。

由（K 的跟注期望值）＝（K 的蓋牌期望值），用數學式表示如下：

$\frac{1・(-0.5)+f_Q・(1+0.5)}{1+f_Q}=0$

解開後可得 $f_Q=\frac{1}{3}$。

《Villain 的策略》

另一方面，Villain 用 K 以最優頻率（$f_K$）跟注，採取讓對手 Q 的下注與過牌期望值相同的策略。

Hero 用 Q 下注時，會得到以下收益。

• Villain 持 A（1 組合）... -0.5（被跟注而輸）
• Villain 持 K 並跟注（$f_K$ 組合）... -0.5（被跟注而輸）
• Villain 持 K 並蓋牌（$1-f_K$ 組合）.. 1（逼退對手並獲得底池的 1）

而 Hero 用 Q 過牌時，必定在攤牌時落敗，所持籌碼不增不減，因此收益為 0。

由（Q 的下注期望值）＝（Q 的過牌期望值），用數學式表示如下：

$\frac{1・(-0.5)+f_K・(-0.5)+(1-f_K)・1}{2}=0$

解開後可得 $f_K=\frac{1}{3}$。

將以上整理，Hero 與 Villain 的最優策略如下。

Hero 的策略

Villain 的策略（相對於 Hero 的注 0.5）

6. 注碼為任意單一尺寸（b）時的 AKQ 遊戲最優解

前一節將注碼大小限定為 0.5 來思考最優解。完全比照同樣的方式，也可以考慮注碼大小為 b（常數）時的最優解。將先前兩式中的 0.5 換成 b，得到：

$\frac{1・(-b)+f_Q・(1+b)}{1+f_Q}=0$

$\frac{1・(-b)+f_K・(-b)+(1-f_K)・1}{2}=0$

解開後可得 $f_Q=\frac{b}{1+b}$，$f_K=\frac{1-b}{1+b}$。

將以上整理，Hero 與 Villain 的最優策略如下。

Hero 的策略

Villain 的策略（相對於 Hero 的注 $b$）

這裡若注意 $f_K=\frac{1-b}{1+b}$，會發現當 b 大於 1（Hero 下超池注）時，$f_K$ 會變成負值，發生奇怪的結果。這是怎麼回事呢？

一般來說，超池詐唬所需的詐唬成功率會超過 50%。Hero 用 Q 詐唬時，Villain 持 A 或 K。但是，Villain 絕對不會蓋掉 A，因此詐唬成功率不可能超過 50%。

也就是說，可以得出 Hero 在 AKQ 遊戲中不應該進行超池詐唬的結論。既然不存在詐唬，自然也不能以該尺寸進行價值注，因此 Hero 在這個遊戲中不會使用超池注。所以，以下以 $0<b\le 1$ 來思考。

7. 能最大化整體範圍 EV 的 Hero 注碼大小為何？

到目前為止，我們知道了注碼大小為任意單一尺寸（b）時的最優解。接下來才是本文的重點。

其實，Hero 的 K・Q 期望值（EV）不會隨注碼大小（b）而改變。因為：

• Hero 的 K...必定過牌，在攤牌時輸給 A、贏過 Q，所以有 50% 的機率獲得底池 1。也就是說 EV 恆為 0.5。
• Hero 的 Q...因為對手 K 的跟注頻率，詐唬注與放棄過牌處於無差別狀態，所以 EV 恆為 0。

正因如此。也就是說，EV 會隨注碼大小變化的只有 A 的情況，Hero 的最優注碼大小，就是 Hero 持 A 時能最大化 EV 的金額。那麼，就來實際計算注碼大小為 b 時，Hero 持 A 下注的 EV 吧。

$(Hero持A的EV)=(被跟注的機率)・(1+b)+(被蓋牌的機率)・1$

被跟注的機率，是對手持 K（$\frac{1}{2}$）且選擇跟注（$\frac{1-b}{1+b}$）時，

因此乘積為 $\frac{1}{2}\frac{1-b}{1+b}$。將此設為 $P(b)$，

$(Hero持A的EV)=P(b)・(1+b)+(1-P(b))・1=bP(b)+1=\frac{1}{2}\frac{b(1-b)}{1+b}+1$

除去常數部分，只需求出使 $\frac{b(1-b)}{1+b}$ 最大的 b 即可。

$\frac{b(1-b)}{1+b}=\frac{-b(1+b)+2(1+b)-2}{1+b}=2-(b+\frac{2}{1+b})=3-((1+b)+\frac{2}{1+b})$

因此根據算術平均與幾何平均的關係，當 $1+b=\sqrt{2}$，即 $b=\sqrt{2}-1\approx 0.414$ 時，$\frac{b(1-b)}{1+b}$ 會取得最大值 $3-2\sqrt{2}$。

這代表 Hero 的最優注碼大小，是能最大化 A 的 EV 的底池 41.4%。明明是在思考撲克，注碼大小卻莫名出現了根號。真不可思議。

另外，把剛才求出的最大值代入原式，

$(Hero持A的EV最大值)=\frac{1}{2}・(3-2\sqrt{2})+1=\frac{5}{2}-\sqrt{2}\approx 1.086$

即可得到如上結果。如果無法下注，A 的 EV 會是 1，因此可以說，Hero 處於有位置（IP）確實有助於提升整體範圍的 EV。

8. 總結

這篇文章難度較高、篇幅也長，感謝您讀到這裡。本文探討了 Hero 的注碼大小對期望值（EV）的影響。結論簡述如下：

• AKQ 遊戲是簡化版的撲克，深入探討它，就能掌握實戰撲克中使用的各種理論。
• 價值牌在不會被對手加注的條件下，存在能最大化 EV 的最優注碼大小。

透過分析 AKQ 遊戲，可以深入理解撲克中注碼大小的選擇與 GTO（Game Theory Optimal）策略的思考方式。下一篇將探討更複雜情況下的注碼最佳化，以及實戰中的應用方法。

用理論學撲克 #2：在 AKQJT9 遊戲中探討數學上最佳的下注尺度拆分

東京大學研究所的遊戲 AI 研究人員運用 AKQJT9 遊戲，從數學上闡明為何 GTO 中越強的價值牌會搭配越大的下注尺度。文章以易懂的圖表呈現由 CFR…

pokerqz.com