Chiến lượcĐọc trong 10 phút

Học poker bằng lý thuyết #1 : Tìm kích thước value bet tối ưu về mặt toán học trong trò chơi AKQ

16 thg 3, 2025

としき

東京大学大学院情報理工学系研究科に所属。主にゲームAIや自然言語アルゴリズムの研究を専門とする鶴岡研究室にて活動。CLOViZ株式会社にてPOKER Q'zの開発もリード。

1. Giới thiệu

Trong poker, việc chọn kích thước value bet phù hợp rất quan trọng để tối đa hóa giá trị kỳ vọng (). Trong bài viết này, chúng ta sẽ tìm hiểu sâu về kích thước bet tối ưu cho bài value thông qua trò chơi AKQ đơn giản.

2. Trò chơi AKQ là gì?

Trò chơi AKQ là một mô hình trò chơi đơn giản được thiết kế để học nền tảng của chiến lược poker. Có nhiều biến thể khác nhau, nhưng ở đây chúng ta sẽ trình bày dựa trên các luật sau.

Người chơi
Trò chơi gồm hai người: Hero (phía mình) và Villain (phía đối thủ).
Lá bài
Chỉ sử dụng ba lá A, K, Q với thứ tự mạnh yếu là A > K > Q. Mỗi người chơi được chia ngẫu nhiên một trong các lá này và không bao giờ có hai lá bài cùng hạng (cũng bỏ qua chất – suit).
Vị trí
Hero luôn chơi ở IP (in position – có vị trí), Villain luôn chơi ở OOP (out of position – mất vị trí).
Hành động
1. Ván bài bắt đầu ngay từ river và Villain (OOP) hành động trước. Khi đó, Villain luôn chọn check.
2. Sau đó, Hero (IP) có thể chọn bất kỳ kích thước bet nào hoặc check-back.
3. Nếu Hero check-back ở bước 2 thì ván bài đi thẳng tới showdown.
4. Nếu Hero bet ở bước 2, Villain chỉ có hai lựa chọn là call hoặc fold và không được raise.
Kích thước pot
ban đầu là 1

Thông qua mô hình trò chơi đơn giản này, bạn có thể học được cách tư duy về chiến lược bet và range trong poker.

3. Xây dựng chiến lược cho từng lá bài và chiến lược thuần túy

Trước tiên, hãy tóm tắt cách chơi tối ưu với từng lá bài của Hero và Villain.

Cách chơi tối ưu của Hero

① A
Là lá bài mạnh nhất, hãy nhắm vào K của đối thủ mà luôn value bet.
② K
Nếu bet, A sẽ call khiến bạn thua, còn Q chỉ fold, nên bet chỉ gây thua lỗ. Luôn check.
③ Q
Dù là lá bài yếu nhất, hãy trộn nó với value bet bằng A và bluff với tần suất vừa đủ khiến K của đối thủ phải phân vân.

Cách chơi tối ưu của Villain sau khi bị Hero bet

④ A
Vì chắc chắn thắng, luôn call.
⑤ K
Dù thua A của đối thủ, để không bị bluff bằng Q làm fold quá thường xuyên, hãy bluff-catch với tần suất hợp lý. ( với tần suất vừa đủ khiến Q của đối thủ phân vân có nên bluff hay không)
⑥ Q
Vì chắc chắn thua, luôn fold.

Ở đây, ①・③・④・⑥ như đã ghi rõ chữ “luôn”, hành động tối ưu đã được xác định ngay từ đầu và được thực hiện với tần suất 100%. Vì chọn bất kỳ hành động nào khác đều rõ ràng gây thua lỗ như đã phân tích ở trên.

Như vậy, chiến lược có tần suất hành động 100% được gọi là “chiến lược thuần túy”. Nếu chơi sai chiến lược thuần túy này, bạn sẽ chịu tổn thất EV rất lớn, vì vậy cần hết sức cẩn thận.

Vậy, vì chiến lược thuần túy không thể thay đổi, điều quan trọng khi tìm nghiệm tối ưu của trò chơi này là:

“Tần suất bluff bằng Q của Hero” ở ③, và
“Tần suất call bằng K của Villain” ở ⑤.

Đối với ③・⑤, hành động tối ưu là cân bằng cả hai lựa chọn, và chiến lược như vậy được gọi là “chiến lược hỗn hợp”. Nếu không giữ sự cân bằng phù hợp mà hành động thiên lệch về một phía, bạn sẽ bị đối thủ exploit chiến lược. Dưới đây, chúng ta sẽ giải thích cụ thể về sự exploit đó.

Về ③, nếu Hero bet bằng Q quá thường xuyên thì sẽ bluff quá nhiều, và Villain sẽ exploit bằng cách nâng tần suất bluff-catch call bằng K lên 100%. Ngược lại, nếu Hero bet bằng Q quá ít thì range của Hero trở nên quá nặng về value (A), và Villain sẽ exploit bằng cách hạ tần suất bluff-catch call bằng K xuống 0%.

Về ⑤, nếu Villain call bằng K quá thường xuyên thì sẽ bluff-catch quá nhiều, và Hero sẽ exploit bằng cách hạ tần suất bluff bet bằng Q xuống 0%. Ngược lại, nếu Villain call bằng K quá ít thì sẽ bluff-catch quá ít, và Hero sẽ exploit bằng cách nâng tần suất bluff bet bằng Q lên 100%.

Vậy, làm thế nào để xác định cụ thể tần suất phù hợp của ③・⑤? Chúng ta sẽ giải thích trong phần tiếp theo.

4. Tần suất của chiến lược hỗn hợp và điểm bàng quan (indifferent)

Để tìm tần suất tối ưu của chiến lược hỗn hợp, cần làm rõ chính xác ý nghĩa của cụm từ “khiến 〇〇 của đối thủ vừa đủ phải phân vân” xuất hiện ở ③・⑤ ở trên. Thuật ngữ xuất hiện ở đây chính là “indifferent” (bàng quan).

Indifferent (bàng quan) là trạng thái trong đó, với một lá bài nhất định, EV của nhiều hành động khác nhau bằng nhau.

Chỉ nói vậy thì khó hiểu, nên hãy xem một ví dụ cụ thể. Giả sử pot đang là 100 điểm và bạn nhận được một cú pot bet 100 điểm từ đối thủ.

Khi đó, số tiền cần bỏ ra để call là 100 điểm, và nếu call thì pot trở thành 100 (pot) + 100 (bet của đối thủ) + 100 (call của bạn) = 300 điểm. Nói cách khác, bạn đang bị đặt vào cuộc đấu trả 100 điểm để giành 300 điểm, nên khi tỷ lệ thắng vừa đúng 100/300 = 1/3, EV của call và fold bằng nhau ở mức 0.

Tình huống này được gọi là “indifferent giữa call và fold”. Nói chung, một lá bài đang ở trạng thái indifferent thường giữ lại nhiều hành động khác nhau như các lựa chọn để duy trì sự cân bằng.

Và ở đây, chìa khóa để xác định tỷ trọng của chiến lược hỗn hợp ở ③ và ⑤ là điều chỉnh tần suất sao cho một lá bài cụ thể của đối thủ trở nên indifferent.

Cụ thể:

③ Q của Hero được điều chỉnh tần suất bet sao cho K của Villain trở nên “indifferent giữa call và fold”.
⑤ K của Villain được điều chỉnh tần suất call sao cho Q của Hero trở nên “indifferent giữa bet và check”.

5. Nghiệm tối ưu của trò chơi AKQ khi chỉ giới hạn bet ở mức 50% pot

Để dễ hiểu, trong phần này chúng ta giới hạn kích thước bet của Hero ở mức 50% pot (0.5).

《Chiến lược của Hero》

Hero value bet bằng A với tần suất toàn bộ (1), bluff bet bằng Q với tần suất tối ưu ( $f_{Q}$ ), và chọn chiến lược sao cho EV khi call và khi fold của K đối thủ là như nhau. Nếu Villain call bằng K, lợi ích sẽ như sau.

Hero có A (1 combo) ... -0.5 (mất 0.5 đã bỏ ra để call)
Hero có Q ( $f_{Q}$ combo) ... 1 + 0.5 (giành được 1 của pot và 0.5 tiền bet của đối thủ)

Còn nếu Villain fold bằng K, số chip sở hữu không tăng cũng không giảm, nên lợi ích là 0.

Từ (EV khi K call) = (EV khi K fold), biểu diễn bằng công thức ta có:

$\frac{1 ・ ( - 0.5 ) + f _{Q} ・ ( 1 + 0.5 )}{1 + f _{Q}} = 0$

Giải ra ta được $f_{Q} = \frac{1}{3}$ .

《Chiến lược của Villain》

Trong khi đó, Villain call bằng K với tần suất tối ưu ( $f_{K}$ ) và chọn chiến lược sao cho EV khi bet và khi check của Q đối thủ là như nhau.

Nếu Hero bet bằng Q, lợi ích sẽ như sau.

Villain có A (1 combo) ... -0.5 (bị call và thua)
Villain có K và call ( $f_{K}$ combo) ... -0.5 (bị call và thua)
Villain có K và fold ( $1 - f_{K}$ combo) .. 1 (làm đối thủ fold và giành được 1 của pot)

Còn nếu Hero check bằng Q, chắc chắn sẽ thua khi showdown và số chip không tăng không giảm, nên lợi ích là 0.

Từ (EV khi Q bet) = (EV khi Q check), biểu diễn bằng công thức ta có:

$\frac{1 ・ ( - 0.5 ) + f _{K} ・ ( - 0.5 ) + ( 1 - f _{K} ) ・ 1}{2} = 0$

Giải ra ta được $f_{K} = \frac{1}{3}$ .

Tổng hợp lại, chiến lược tối ưu của Hero và Villain được tóm tắt như sau.

Chiến lược của Hero

Lá bài của Hero	Tần suất bet 50% pot	Tần suất check
A	1 (100%)	0 (0%)
K	0 (0%)	1 (100%)
Q	0.3333 (33.33%)	0.6667 (66.67%)

Chiến lược của Villain (ứng với bet 0.5 của Hero)

Lá bài của Villain	Tần suất call	Tần suất fold
A	1 (100%)	0 (0%)
K	0.3333 (33.33%)	0.6667 (66.67%)
Q	0 (0%)	1 (100%)

6. Nghiệm tối ưu của trò chơi AKQ khi bet ở một kích thước bất kỳ (b)

Ở phần trước, chúng ta đã tìm nghiệm tối ưu với bet cố định ở 0.5. Hoàn toàn tương tự, chúng ta cũng có thể tìm nghiệm tối ưu với kích thước bet b (hằng số). Thay 0.5 trong hai công thức trước bằng b, ta có:

$\frac{1 ・ ( - b ) + f _{Q} ・ ( 1 + b )}{1 + f _{Q}} = 0$

$\frac{1 ・ ( - b ) + f _{K} ・ ( - b ) + ( 1 - f _{K} ) ・ 1}{2} = 0$

Giải ra ta được $f_{Q} = \frac{b}{1 + b}$ , $f_{K} = \frac{1 - b}{1 + b}$ .

Tổng hợp lại, chiến lược tối ưu của Hero và Villain được tóm tắt như sau.

Chiến lược của Hero

Lá bài của Hero	Tần suất bet $b$	Tần suất check
A	1	0
K	0	1
Q	$\frac{b}{1 + b}$	$\frac{1}{1 + b}$

Chiến lược của Villain (ứng với bet $b$ của Hero)

Lá bài của Villain	Tần suất call	Tần suất fold
A	1	0
K	$\frac{1 - b}{1 + b}$	$\frac{2 b}{1 + b}$
Q	0	1

Ở đây, nếu chú ý vào $f_{K} = \frac{1 - b}{1 + b}$ , ta thấy khi b lớn hơn 1 (Hero bet quá pot), $f_{K}$ trở thành giá trị âm, tức là có điều bất thường đang xảy ra. Điều này có nghĩa là gì?

Nói chung, với một cú bluff quá pot, tỷ lệ thành công cần thiết của bluff vượt quá 50%. Khi Hero bluff bằng Q, Villain đang có A hoặc K. Nhưng vì Villain không bao giờ fold A, tỷ lệ thành công của bluff không thể vượt quá 50%.

Do đó có thể rút ra kết luận rằng Hero không nên bluff quá pot trong trò chơi AKQ. Nếu không có bluff thì hiển nhiên cũng không thể value bet ở kích thước đó, nên Hero sẽ không bao giờ dùng bet quá pot trong trò chơi này. Vì vậy, từ đây chúng ta xét $0 < b \leq 1$ .

7. Kích thước bet nào của Hero tối đa hóa EV của toàn bộ range?

Đến đây chúng ta đã biết nghiệm tối ưu khi bet có một kích thước bất kỳ (b). Từ đây mới là nội dung chính.

Thực ra, EV của K và Q của Hero không thay đổi dù kích thước bet (b) khác nhau. Vì:

Hero có K... luôn check, thua A và thắng Q khi showdown, nên giành được pot 1 với xác suất 50%. Tức là EV luôn là 0.5.
Hero có Q... do tần suất call bằng K của đối thủ, bluff bet và check bỏ cuộc trở nên indifferent, nên EV luôn là 0.

Chính vì vậy, EV chỉ thay đổi theo kích thước bet khi Hero có A, và kích thước bet tối ưu của Hero chính là mức tối đa hóa EV khi Hero cầm A. Vậy hãy thực sự tính EV khi Hero bet bằng A với kích thước b.

$(E V k hi H er oc \overset{ˋ}{\overset{a}{^}} m A) = (x \overset{a}{ˊ} cs u \overset{ˊ}{\overset{a}{^}} t b ị c a l l) ・ (1 + b) + (x \overset{a}{ˊ} cs u \overset{ˊ}{\overset{a}{^}} t b ị f o l d) ・ 1$

Xác suất bị call là khi đối thủ có K ( $\frac{1}{2}$ ) và chọn call ( $\frac{1 - b}{1 + b}$ ), nên

tích của chúng là $\frac{1}{2} \frac{1 - b}{1 + b}$ . Đặt tích này là $P (b)$ , ta có:

$(E V k hi H er oc \overset{ˋ}{\overset{a}{^}} m A) = P (b) ・ (1 + b) + (1 - P (b)) ・ 1 = b P (b) + 1 = \frac{1}{2} \frac{b ( 1 - b )}{1 + b} + 1$

Nếu bỏ phần hằng số, ta chỉ cần tìm b làm cho $\frac{b ( 1 - b )}{1 + b}$ đạt giá trị lớn nhất.

$\frac{b ( 1 - b )}{1 + b} = \frac{- b ( 1 + b ) + 2 ( 1 + b ) - 2}{1 + b} = 2 - (b + \frac{2}{1 + b}) = 3 - ((1 + b) + \frac{2}{1 + b})$

Do đó, theo bất đẳng thức trung bình cộng – trung bình nhân (AM–GM), khi $1 + b = 2$ , tức là $b = 2 - 1 \approx 0.414$ , thì $\frac{b ( 1 - b )}{1 + b}$ đạt giá trị lớn nhất là $3 - 22$ .

Điều này có nghĩa là kích thước bet tối ưu của Hero là 41.4% pot, mức tối đa hóa EV của A. Đang nghĩ về poker mà kích thước bet lại có cả căn bậc hai xuất hiện. Thật kỳ lạ phải không.

Tiếp theo, nếu thay giá trị lớn nhất vừa tìm được vào công thức ban đầu, ta có:

$(E V t \overset{ˊ}{\overset{o}{^}} i đ ak hi H er oc \overset{ˋ}{\overset{a}{^}} m A) = \frac{1}{2} ・ (3 - 22) + 1 = \frac{5}{2} - 2 \approx 1.086$

Nếu không thể bet, EV của A sẽ là 1, nên có thể thấy rằng việc Hero ở IP thực sự đóng góp vào sự gia tăng EV của toàn bộ range.

8. Tổng kết

Bài viết khá dài và có độ khó cao, nhưng cảm ơn bạn đã đọc đến đây. Trong bài viết này, chúng ta đã xem xét ảnh hưởng của kích thước bet của Hero lên giá trị kỳ vọng (EV). Tóm tắt ngắn gọn kết luận như sau:

Trò chơi AKQ là một dạng poker được đơn giản hóa, và bằng cách nghiên cứu kỹ nó, bạn có thể nắm được nhiều lý thuyết được dùng trong poker thực tế.
Đối với bài value, tồn tại kích thước bet tối ưu để tối đa hóa EV trong điều kiện không bị đối thủ raise.

Thông qua việc phân tích trò chơi AKQ, bạn có thể hiểu sâu về việc lựa chọn kích thước bet trong poker và tư duy của chiến lược (Game Theory Optimal). Trong bài viết tiếp theo, chúng ta sẽ xem xét việc tối ưu hóa kích thước bet trong những tình huống phức tạp hơn và cách ứng dụng vào thực chiến.

Học Poker bằng lý thuyết #2: Khám phá cách phân chia cỡ cược tối ưu về mặt toán học trong trò chơi AKQJT9

Nhà nghiên cứu AI trò chơi tại Đại học Tokyo (bậc sau đại học) dùng trò chơi AKQJT9 để lý giải bằng toán học vì sao trong GTO, hand value càng mạnh th...