Chiến lượcĐọc trong 8 phút

Học Poker bằng lý thuyết #2: Khám phá cách phân chia cỡ cược tối ưu về mặt toán học trong trò chơi AKQJT9

20 thg 3, 2025

としき

東京大学大学院情報理工学系研究科に所属。主にゲームAIや自然言語アルゴリズムの研究を専門とする鶴岡研究室にて活動。CLOViZ株式会社にてPOKER Q'zの開発もリード。

Giới thiệu

Bài viết này là phần tiếp theo của bài viết trước. Nếu bạn chưa đọc, hãy đọc bài đó trước nhé.

Học poker bằng lý thuyết #1 : Tìm kích thước value bet tối ưu về mặt toán học trong trò chơi AKQ

Nhà nghiên cứu game AI thuộc chương trình sau đại học của Đại học Tokyo dùng trò chơi AKQ đơn giản để đưa ra công thức tìm kích thước value bet tối ưu...

pokerqz.com

Chủ đề lần này là "phân chia cỡ cược". Trong , nhìn chung hand value càng mạnh thì người ta càng có xu hướng dùng cỡ cược lớn, nhưng tại sao lại như vậy? Lần này, chúng ta sẽ xem xét câu hỏi này từ góc độ toán học bằng toy game "trò chơi AKQJT9".

1. Trò chơi AKQJT9 là gì?

Trò chơi AKQJT9 là toy game do chính tác giả tạo ra để bàn về chủ đề này, một biến thể của "trò chơi AKQ" đã giới thiệu ở bài viết trước. So với trò AKQ, chỉ khác là số lá bài tăng từ 3 lên 6, nhưng tiện thể chúng ta hãy ôn lại luật chơi.

Người chơi
Trò chơi này gồm 2 người chơi là Hero và Villain.
Lá bài
Chỉ sử dụng 6 lá A K Q J T 9 , độ mạnh của chúng lần lượt là A > K > Q > J > T > 9. Mỗi người chơi được chia ngẫu nhiên 1 trong số các lá này, và không bao giờ có hai người cùng nhận lá bài cùng rank.
Vị trí
Hero luôn ở IP (in position), còn Villain luôn ở OOP (out of position).
Hành động
1. Ván bài bắt đầu ngay ở river, Villain (OOP) hành động trước. Lúc này, Villain luôn chọn check.
2. Sau đó, Hero (IP) có thể chọn một cỡ cược bất kỳ hoặc check back.
3. Nếu Hero check back ở bước 2, ván bài đi thẳng tới showdown.
4. Nếu Hero cược ở bước 2, Villain chỉ có 2 lựa chọn là call hoặc fold, và không được raise.
Kích thước pot
ban đầu là 1.

2. Lời giải GTO tính bằng thuật toán

Bây giờ chúng ta muốn tính lời giải tối ưu của trò chơi này bằng công thức, nhưng để dễ hình dung hơn, trước hết hãy xem lời giải GTO được tính bằng thuật toán CFR. (Nếu có dịp, tôi cũng muốn nói chi tiết hơn về thuật toán CFR.)

Hình 1 Lời giải GTO ở river khi board là 22233

Hình 1 minh họa lời giải GTO bằng công cụ do chính tác giả xây dựng. Bảng range được làm theo phong cách GTO Wizard. Bảng này thể hiện chiến lược cho toàn bộ range của Hero sau khi Villain check, khi board trong poker thực tế là 22233 (tức là board không liên quan trực tiếp đến A~9 trong bài viết này).

Tuy nhiên, hand range của cả hai bên được giới hạn ở 6 combo AA,KK,...99 (chỉ dùng các combo pocket pair bích–cơ).

Lúc này, độ mạnh của hand là AA > KK > ... > 99, và hai bên không bao giờ có cùng một hand, nên tình huống này tương đương với trò chơi AKQJT9.

Lần này, chúng tôi chuẩn bị các tùy chọn cỡ cược đa dạng, từ 15% đến 160%. Màu đỏ là cược lớn, màu cam là cược nhỏ, màu xanh lá là check.

Có thể thấy A (nuts) được value bet với cỡ cược lớn hơn K (second nuts), tức là đã có sự phân chia cỡ cược.

Hình 2 Chiến lược của KK trong Hình 1 (cột trái là tần suất, cột phải là EV. EV được hiển thị nhân 100)

Hình 3 Chiến lược của AA trong Hình 1 (cột trái là tần suất, cột phải là EV. EV được hiển thị nhân 100)

Ngoài ra, Hình 2 và Hình 3 trình bày chi tiết chiến lược cần dùng khi hand là KK và AA. Tốt nhất là dùng cỡ cược giúp tối đa hóa cho từng hand, và có thể thấy hành động nào có càng cao thì tần suất thực hiện càng lớn.

Từ Hình 1 đến Hình 3, những điều rút ra được về trò chơi AKQJT9 có thể tóm tắt như sau.

《Tổng kết đến đây》

A (nuts) dùng thuần túy cược lớn. Cỡ tối ưu có vẻ nằm trong khoảng 120% đến 130%, hơi nghiêng về phía 120%.
K (second nuts) dùng thuần túy cược nhỏ. Cỡ tối ưu có vẻ nằm trong khoảng 25% đến 30%, hơi nghiêng về phía 30%.
Các hand marginal từ Q đến T check thuần túy.
9 (yếu nhất) dùng chung các cỡ cược của value bet A và K, và bluff bet với tần suất phù hợp.

※Bổ sung

Q không thể value bet. Nếu cược bằng Q, đối thủ sẽ call chắc chắn với A và K, và fold chắc chắn với 9. Khi đó, dù đối thủ có bluff-catch call với J và T ở mọi tần suất, equity sau khi bị call vẫn là 50%, nên có thể thấy Q không có tác dụng của một value bet.
T không bao giờ bluff bet. Vì xét về số combo cần thiết, chỉ cần 9 là đủ cho bluff (sẽ nói ở phần sau).

3. Lời giải tối ưu của trò chơi AKQJT9 khi cỡ cược là 2 mức bất kỳ

Vậy bây giờ, chúng ta hãy bước vào phần phân tích toán học.

Trò chơi này có sự phân chia cỡ cược, nên ta đặt cỡ value bet dùng cho A là $b_{A}$ , cỡ value bet dùng cho K là $b_{K}$ .

Theo bài viết trước, khi value bet thuần túy một hand mạnh nào đó với cỡ $b$ , tần suất bluff làm cho hand marginal của đối thủ trở nên bàng quan (indifferent) giữa call và fold là $\frac{b}{1 + b}$ . Lần này có 2 cỡ cược được sử dụng, nên chiến lược tối ưu của Hero như sau.

Chiến lược của Hero

Bài của Hero (IP)	Tần suất bet $b_{A}$	Tần suất bet $b_{K}$	Tần suất check
A	1	0	0
K	0	1	0
Q , J , T	0	0	1
9	$\frac{b _{A}}{1 + b _{A}}$	$\frac{b _{K}}{1 + b _{K}}$	$1 - \frac{b _{A}}{1 + b _{A}} - \frac{b _{K}}{1 + b _{K}}$

Đối với chiến lược này, Villain phản ứng như sau. Ở đây, tạm thời đặt tần suất bluff-catch với hand marginal (từ K đến T) khi đối mặt bet $b_{A}$ là $f_{1}$ , và tần suất bluff-catch với hand marginal (từ Q đến T) khi đối mặt bet $b_{K}$ là $f_{2}$ . (Giá trị cụ thể sẽ được tính ngay sau đây.)

Chiến lược của Villain khi Hero bet $b_{A}$

Bài của Villain	Tần suất call	Tần suất fold
A (1 combo)	1	0
K , Q , J , T (4 combo)	$f_{1}$	$1 - f_{1}$
9 (1 combo)	0	1

Chiến lược của Villain khi Hero bet $b_{K}$

Bài của Villain	Tần suất call	Tần suất fold
A , K (2 combo)	1	0
Q , J , T (3 combo)	$f_{2}$	$1 - f_{2}$
9 (1 combo)	0	1

Nhắc lại từ bài viết trước, tần suất bluff-catch tối ưu của Villain là tần suất khiến hand yếu của Hero trở nên bàng quan giữa việc bluff bet hay từ bỏ và check. Tức là,

(EV khi Hero bet $b_{A}$ bằng 9) = (EV khi Hero bet $b_{K}$ bằng 9) = (EV khi Hero check bằng 9)

chỉ cần thỏa mãn là được, nên phương trình sau đây được thiết lập.

$\frac{1 ・ ( - b _{A} ) + 4 f _{1} ・ ( - b _{A} ) + 4 ( 1 - f _{1} ) ・ 1}{5} = \frac{2 ・ ( - b _{K} ) + 3 f _{2} ・ ( - b _{K} ) + 3 ( 1 - f _{2} ) ・ 1}{5} = 0$

Giải ra ta được $f_{1} = \frac{4 - b _{A}}{4 ( 1 + b _{A} )}$ , $f_{2} = \frac{3 - 2 b _{K}}{3 ( 1 + b _{K} )}$ .

Ngoài ra, $1 - f_{1} = \frac{5 b _{A}}{4 ( 1 + b _{A} )}$ , $1 - f_{2} = \frac{5 b _{K}}{3 ( 1 + b _{K} )}$ . (Sẽ dùng ở phần sau)

4. $b_{A}, b_{K}$ nào tối đa hóa EV của toàn bộ range Hero?

Khi đã biết chiến lược tối ưu của cả hai bên, chúng ta hãy tìm $b_{A}, b_{K}$ giúp tối đa hóa EV của toàn bộ range Hero. Ở bài viết trước, tôi đã đề cập rằng EV của hand marginal và hand yếu không phụ thuộc vào cỡ cược của Hero. Do đó, $b_{A}, b_{K}$ tối ưu có thể tìm được bằng cách chỉ xét EV của A và K (các hand value).

Vậy hãy thực sự tính EV của A và K. EV của A có thể tính như bài trước, nhưng EV của K có một điểm cần lưu ý. Đó là K có khả năng bị A của đối thủ call và mất value (miss value). Với lưu ý đó, đặt EV của Hero khi cầm A là $E_{A} (b_{A})$ , EV của Hero khi cầm K là $E_{K} (b_{K})$ , ta có:

$E_{A} (b_{A}) = \frac{4 f _{1} ・ ( 1 + b _{A} ) + ( 4 ( 1 - f _{1} ) + 1 ) ・ 1}{5} = \frac{1}{5} ((4 - b_{A}) + \frac{5 b _{A}}{1 + b _{A}} + 1) = \frac{1}{5} (5 + \frac{5 b _{A}}{1 + b _{A}} - b_{A})$

$E_{K} (b_{K}) = \frac{1 ・ ( - b _{K} ) + 3 f _{2} ・ ( 1 + b _{K} ) + ( 3 ( 1 - f _{2} ) + 1 ) ・ 1}{5} = \frac{1}{5} (- b_{K} + (3 - 2 b_{K}) + \frac{5 b _{K}}{1 + b _{K}} + 1) = \frac{1}{5} (4 + \frac{5 b _{K}}{1 + b _{K}} - 3 b_{K})$

Hãy lấy vi phân từng hàm để tìm $E_{A} (b_{A})$ đạt giá trị lớn nhất ứng với $b_{A}$ , và $E_{K} (b_{K})$ đạt giá trị lớn nhất ứng với $b_{K}$ .

Dùng công thức vi phân hàm phân thức đã học ở môn Toán III cấp 3 (tương đương lớp 12 tại Nhật), ta được:

$\frac{d}{d b _{A}} E_{A} (b_{A}) = \frac{1}{( 1 + b _{A} ) ^{2}} - \frac{1}{5}$

$\frac{d}{d b _{K}} E_{K} (b_{K}) = \frac{1}{( 1 + b _{K} ) ^{2}} - \frac{3}{5}$

Ta được:

$\frac{d}{d b _{A}} E_{A} (b_{A})$ và $\frac{d}{d b _{K}} E_{K} (b_{K})$ đều là các hàm giảm đơn điệu, nên $b_{A}$ và $b_{K}$ làm cho chúng bằng 0 chính là cỡ cược tối ưu.

Giải ra ta được $b_{A} = 5 - 1 \approx 1.236$ , $b_{K} = \frac{5}{3} - 1 \approx 0.291$ .

Điều này có nghĩa là, cỡ cược tối ưu của Hero khi cầm A là 123.6% pot, khi cầm K là 29.1% pot. Từ kết quả thuật toán ở phần trước, chúng ta đã dự đoán rằng:

A (nuts) dùng thuần túy cược lớn. Cỡ tối ưu có vẻ nằm trong khoảng 120% đến 130%, hơi nghiêng về phía 120%.
K (second nuts) dùng thuần túy cược nhỏ. Cỡ tối ưu có vẻ nằm trong khoảng 25% đến 30%, hơi nghiêng về phía 30%.

và có thể thấy dự đoán đã trúng hoàn toàn. Ngoài ra, tần suất bluff bet của 9 lúc này là:

Pot 123.6% là $\frac{b _{A}}{1 + b _{A}} \approx \frac{1.236}{1 + 1.236} \approx 0.553$

Pot 29.1% là $\frac{b _{K}}{1 + b _{K}} \approx \frac{0.291}{1 + 0.291} \approx 0.225$

và cộng cả hai lại cũng không vượt quá 1. Nghĩa là, chỉ cần 9 là đủ cho combo bluff, nên không cần dùng cả T để bluff.

5. Lưu ý khi áp dụng phân chia cỡ cược trong thực tế

Đến đây, chúng ta đã nói về việc phân chia cỡ cược giúp tăng EV cho range của bản thân. Tuy nhiên, khi áp dụng điều này vào poker thực tế, cần phải lưu ý.

Trong trò chơi này, Villain không có quyền raise, nhưng trong poker thực tế bạn có thể bị raise.

Nếu range cược nhỏ không chứa bất kỳ hand hạng nuts nào, một khi đối thủ phát hiện ra, bạn sẽ bị exploit bằng những cú raise polarized rộng.

Khi đó, EV của toàn bộ range của bạn sẽ giảm đi đáng kể.

Vì vậy, khi đối thủ là người chơi giỏi biết raise lại hợp lý, bạn nên đưa một phần hand hạng nuts vào cược nhỏ để cân bằng (đặc biệt khi ở OOP).

Tổng kết

Bài viết lần này cũng có độ khó khá cao, nhưng cảm ơn bạn đã đọc đến đây. Trong bài viết này, tôi đã giải thích rằng việc phân chia cỡ cược mà GTO thực hiện là một cách chơi hiệu quả có nền tảng toán học vững chắc.

Kết luận có thể tóm tắt ngắn gọn như sau.

Khi phân chia cỡ cược, hand value càng mạnh thì dùng cỡ cược càng lớn, giúp EV tăng lên.
Chọn hand bluff từ những hand yếu có EQ thấp, và bluff với tần suất phù hợp cho từng cỡ cược (trong thực tế, hand có blocker tốt thường được chọn cho bluff bet lớn hơn. Trong trò chơi lần này không có blocker).
Trong thực tế, vì đối thủ có quyền raise, dù có phân chia cỡ cược cũng cần phân tán hand hạng nuts ở một mức độ nhất định để tránh bị exploit.

Nếu bài viết hữu ích, hãy nhấn thích!

Học nghiêm túc, thật nhanh!
Tải POKER Q'z — ứng dụng học poker AI từ các founder UTokyo ↓

Xem thêm bài viết về Chiến lược

Giới thiệu

1. Trò chơi AKQJT9 là gì?

2. Lời giải GTO tính bằng thuật toán

3. Lời giải tối ưu của trò chơi AKQJT9 khi cỡ cược là 2 mức bất kỳ

Chiến lược của Hero

Chiến lược của Villain khi Hero bet bA​

Chiến lược của Villain khi Hero bet bK​

4. bA​,bK​ nào tối đa hóa EV của toàn bộ range Hero?

5. Lưu ý khi áp dụng phân chia cỡ cược trong thực tế

Tổng kết

Học nghiêm túc, thật nhanh!Tải POKER Q'z — ứng dụng học poker AI từ các founder UTokyo ↓

Giới thiệu

1. Trò chơi AKQJT9 là gì?

2. Lời giải GTO tính bằng thuật toán

3. Lời giải tối ưu của trò chơi AKQJT9 khi cỡ cược là 2 mức bất kỳ

Chiến lược của Hero

Chiến lược của Villain khi Hero bet bA​

Chiến lược của Villain khi Hero bet bK​

4. bA​,bK​ nào tối đa hóa EV của toàn bộ range Hero?

5. Lưu ý khi áp dụng phân chia cỡ cược trong thực tế

Tổng kết

Chiến lược của Villain khi Hero bet $b_{A}$

Chiến lược của Villain khi Hero bet $b_{K}$

4. $b_{A}, b_{K}$ nào tối đa hóa EV của toàn bộ range Hero?

Học nghiêm túc, thật nhanh!
Tải POKER Q'z — ứng dụng học poker AI từ các founder UTokyo ↓

Chiến lược của Villain khi Hero bet $b_{A}$

Chiến lược của Villain khi Hero bet $b_{K}$

4. $b_{A}, b_{K}$ nào tối đa hóa EV của toàn bộ range Hero?