用理論學撲克 #2：在 AKQJT9 遊戲中探討數學上最佳的下注尺度拆分

前言

本文是上一篇的續篇。還沒讀過的讀者，請先閱讀上一篇。

用理論學撲克 #1 : 在 AKQ 遊戲中探討數學上最優的價值注碼大小

東京大學研究所的遊戲 AI 研究員，以簡單的 AKQ 遊戲為主題，用數學公式推導撲克價值注的最優注碼大小。以數學解析注與底池的比例、詐唬頻率與跟注閾值（無差別…

pokerqz.com

這次的主題是「下注尺度拆分」。在 GTO 中，一般來說越強的價值牌越傾向使用越大的下注尺度，但這是為什麼呢？這次我們將運用「AKQJT9 遊戲」這個 toy game，從數學觀點來思考這個疑問。

1. 什麼是 AKQJT9 遊戲？

AKQJT9 遊戲是為了探討這個主題而自行設計的 toy game，是上一篇介紹的「AKQ 遊戲」的延伸變體。和 AKQ 遊戲相比，只是牌數從 3 張增加到 6 張，但還是先簡單複習一下規則。

• 玩家
  本遊戲由 Hero 與 Villain 兩人進行。
• 牌
  使用的牌只有 A K Q J T 9 這 6 張，強弱依序為 A > K > Q > J > T > 9。每位玩家會隨機獲得其中 1 張，不會出現兩張相同 rank 的牌。
• 位置
  Hero 永遠在 IP（in position），Villain 永遠在 OOP（out of position）。
• 行動
  1. 遊戲直接從 river 開始，由 Villain（OOP）先行動。此時 Villain 一律選擇 check。
  2. 接著 Hero（IP）可以選擇任意下注尺度，或 check back。
  3. 若在第 2 步 Hero check back，則直接進入 showdown（攤牌）。
  4. 若在第 2 步 Hero 下注，Villain 只能在 call 或 fold 兩者中選擇，不能 raise。
• 底池大小
  初始底池為1。

2. 以演算法計算出的 GTO 解

接下來我們想用數學式計算這個遊戲的最佳解，但為了更容易掌握概念，先來看看以 CFR 演算法計算出的 GTO 解。（關於 CFR 演算法的詳細內容，之後有機會再談。）

圖 1 是筆者用自行建置的工具將 GTO 解圖示化的結果。range 表採 GTO Wizard 風格製作。這張表顯示的是在實際撲克中，board 為 22233（也就是與本文的 A~9 沒有直接關聯的 board）且被 Villain check 之後，Hero 整個 range 的策略。

不過，雙方的 hand range 僅限於 AA、KK、…99 這 6 個 combo（口袋對只使用黑桃、紅心的 combo）。

此時牌的強弱為 AA > KK > … > 99，且雙方不會拿到相同的手牌，因此這個情境與 AKQJT9 遊戲等價。

這次準備了從 15% 到 160% 的各種下注尺度選項。紅色代表大注、橘色代表小注、綠色代表 check。

可以發現 nuts 的 A 比 second nuts 的 K 採用了更大的價值下注尺度，也就是進行了下注尺度拆分。

此外，圖 2、圖 3 詳細顯示了手牌為 KK、AA 時應使用的策略。對各手牌而言，最理想的是使用能讓 EV 最大化的下注尺度，而且可以看出 EV 越高的行動，採行頻率越高。

從圖 1 到圖 3，可以歸納出關於 AKQJT9 遊戲的以下重點。

《目前為止的整理》

• nuts 的 A 純粹使用大注。最佳尺度似乎落在 120% 到 130% 之間，略偏 120% 的位置。
• second nuts 的 K 純粹使用小注。最佳尺度似乎落在 25% 到 30% 之間，略偏 30% 的位置。
• Q 到 T 這些 marginal hand 純粹 check。
• 最弱的 9 則兼用 A 和 K 兩種價值下注的尺度，以適當頻率進行 bluff 下注。

※補充

• Q 無法打價值下注。如果用 Q 下注，對手會用 A、K 穩穩 call，用 9 穩穩 fold。如此一來，即使對手用 J、T 以全部頻率做 bluff-catch call，被 call 之後的 equity 仍會變成 50%，可見這並不能發揮價值下注的功能。
• T 不會做 bluff 下注。因為就所需的 combo 數量而言，光靠 9 就足夠了（後述）。

3. 將下注尺度設為任意兩個尺度的 AKQJT9 遊戲最佳解

那麼，接下來進入數學分析的部分。

這個遊戲存在尺度拆分，因此我們把 A 使用的價值下注尺度設為 $b_A$，K 使用的價值下注尺度設為 $b_K$。

根據上一篇，當某個強牌以尺度 $b$ 純粹價值下注時，讓對手的 marginal hand 在 call 與 fold 之間無差異（indifferent）的 bluff 下注頻率為 $\frac{b}{1+b}$。這次使用的下注尺度有兩種，因此 Hero 的最佳策略如下。

Hero 的策略

針對這個策略，Villain 會如下回應。這裡暫時將面對 bet $b_A$ 時 marginal hand（K 到 T）的 bluff-catch 頻率設為 $f_1$，面對 bet $b_K$ 時 marginal hand（Q 到 T）的 bluff-catch 頻率設為 $f_2$。（具體數值接下來會計算。）

Villain 面對 Hero bet $b_A$ 的策略

Villain 面對 Hero bet $b_K$ 的策略

根據上一篇，Villain 的最佳 bluff-catch 頻率，是讓 Hero 的弱牌在 bluff 下注與放棄 check 之間無差異的頻率。也就是說，

（Hero 用 9 bet $b_A$ 的 EV）＝（Hero 用 9 bet $b_K$ 的 EV）＝（Hero 用 9 check 的 EV）

只要成立即可，因此可得到以下等式。

$\frac{1・(-b_A)+4f_1・(-b_A)+4(1-f_1)・1}{5}=\frac{2・(-b_K)+3f_2・(-b_K)+3(1-f_2)・1}{5}=0$

解出後可得 $f_1=\frac{4-b_A}{4(1+b_A)}$、$f_2=\frac{3-2b_K}{3(1+b_K)}$。

另外，$1-f_1=\frac{5b_A}{4(1+b_A)}$、$1-f_2=\frac{5b_K}{3(1+b_K)}$。（之後會用到）

4. 能最大化 Hero 整個 range 的 EV 的 $b_A,b_K$ 是多少？

既然雙方的最佳策略都清楚了，接著就來求能最大化 Hero 整個 range 的 EV 的 $b_A,b_K$。上一篇提到，marginal hand 與弱牌的 EV 不依賴 Hero 的下注尺度。因此，只要分別考慮 A、K（價值牌）的 EV，就能求得最佳的 $b_A,b_K$。

那麼就來實際計算 A、K 的 EV。A 的 EV 可以像上一篇那樣計算，但 K 的 EV 有一點需要注意。那就是K 有可能對著對手的 A 打錯價值（miss value）。注意這一點，將 Hero 拿 A 的 EV 設為 $E_A(b_A)$、Hero 拿 K 的 EV 設為 $E_K(b_K)$，則

$E_A(b_A)=\frac{4f_1・(1+b_A)+(4(1-f_1)+1)・1}{5}=\frac{1}{5}((4-b_A)+\frac{5b_A}{1+b_A}+1)=\frac{1}{5}(5+\frac{5b_A}{1+b_A}-b_A)$

$E_K(b_K)=\frac{1・(-b_K)+3f_2・(1+b_K)+(3(1-f_2)+1)・1}{5}=\frac{1}{5}(-b_K+(3-2b_K)+\frac{5b_K}{1+b_K}+1)=\frac{1}{5}(4+\frac{5b_K}{1+b_K}-3b_K)$

接著，將函數微分後，分別求出讓 $E_A(b_A)$ 最大化的 $b_A$，以及讓 $E_K(b_K)$ 最大化的 $b_K$。

運用日本高中數 III 所學的分數函數微分公式，可得

$\frac{d}{d{b}_A}{E}_A(b_A)=\frac{1}{(1+b_A{)}^2}-\frac{1}{5}$

$\frac{d}{d{b}_K}{E}_K(b_K)=\frac{1}{(1+b_K{)}^2}-\frac{3}{5}$

由此可得：

$\frac{d}{d{b}_A}{E}_A(b_A)$ 與 $\frac{d}{d{b}_K}{E}_K(b_K)$ 都是單調遞減函數，因此讓它們變成 0 的 $b_A$、$b_K$ 就是最佳下注尺度。

解出後可得 $b_A=\sqrt{5}-1\approx 1.236$ 、$b_K=\sqrt{\frac{5}{3}}-1\approx 0.291$。

這代表的意思是，Hero 拿 A 時的最佳下注尺度為底池 123.6%、拿 K 時為底池 29.1%。先前從演算法結果所做的預測，

• nuts 的 A 純粹使用大注。最佳尺度似乎落在 120% 到 130% 之間，略偏 120% 的位置。
• second nuts 的 K 純粹使用小注。最佳尺度似乎落在 25% 到 30% 之間，略偏 30% 的位置。

結果完全命中。另外，此時 9 的 bluff 下注頻率為：

底池 123.6% 時是 $\frac{b_A}{1+b_A}\approx \frac{1.236}{1+1.236}\approx 0.553$

底池 29.1% 時是 $\frac{b_K}{1+b_K}\approx \frac{0.291}{1+0.291}\approx 0.225$

兩者相加也不會超過 1。也就是說，bluff 只需要 9 的 combo 就夠了，沒有必要連 T 也拿去 bluff。

5. 在實戰中進行下注尺度拆分的注意事項

到目前為止，我們談了下注尺度拆分能提升自身 range 的 EV。不過，要在真實撲克中實踐時，必須注意幾點。

在這個遊戲中，Villain 沒有 raise 權限，但在實際撲克中是有可能被 raise 的。

如果小注的 range 完全不含 nuts 等級的手牌，一旦被對手看穿，就會遭到 exploit，收到廣範圍且極化（polarized）的 raise。

這麼一來，自身 range 的 EV 會大幅下降。

因此，當對手是能妥善應對 raise 的優秀玩家時，要把一部分 nuts 等級的手牌放進小注以取得平衡（尤其是在 OOP 時）。

總結

這次文章難度依然偏高，感謝您讀到這裡。本文說明了GTO 所進行的下注尺度拆分，是擁有數學依據的有效打法。

結論簡潔整理如下。

1. 進行下注尺度拆分時，越強的價值牌使用越大的下注尺度，EV 會隨之上升。
2. bluff 手牌要從 EQ 較低的弱牌中挑選，並依各下注尺度以適當頻率進行 bluff（實戰中，blocker 較好的手牌傾向選擇更大的 bluff 下注；本次遊戲中沒有 blocker）。
3. 實戰中因為對手有 raise 權限，即使進行下注尺度拆分，也必須將 nuts 等級的手牌做某種程度的分佈，以防被 exploit。