들어가며
포커를 하다 보면 “GTO”나 “게임 이론” 같은 말을 듣게 되는 경우가 있지 않나요? 플레이어들이 서로 칩을 빼앗는 포커는 게임 이론과 떼려야 뗄 수 없는 관계입니다. 아래에서는 게임 이론의 탄생과 발전, 그리고 포커와의 관계를 살펴보겠습니다. 게임 이론을 처음 접하는 분부터 포커를 통해 게임 이론에 관심을 갖게 된 분까지, 모두에게 도움이 되기를 바랍니다.
1. 게임 이론이란 무엇인가
게임 이론이라는 이름만 들으면 트럼프나 보드게임 같은 “오락용 게임”을 떠올리는 분이 많을지도 모릅니다. 하지만 학문으로서의 “게임 이론”이 다루는 “게임”은 훨씬 더 넓은 범위에 걸쳐 있습니다. 여러 플레이어가 서로의 행동을 고려하면서 의사 결정을 하고, 어떤 “보수(득점이나 이익 같은 것)”를 얻으려는 상황 전체를 “게임”이라고 부릅니다. 따라서 그 응용 범위는 보드게임이나 카드게임 같은 오락에만 그치지 않고, 경쟁 입찰, 기업 간 가격 경쟁, 국제 관계의 심리전, 나아가 생물의 진화 과정에까지 이릅니다.
“게임 이론”에서는 그런 “게임적”인 상황을 수학적으로 모델링하고, 플레이어들의 전략과 보수를 수식으로 표현한 뒤 최적의 전략과 균형 상태를 탐구합니다. 이를 위해 고도의 수학적 기법이 사용되지만, 원래 이 이론을 세운 것은 20세기 전반의 천재 수학자들이었습니다. 많은 분야의 초석을 다진 거장 존 폰 노이만과 존 내시의 이름은 게임 이론의 맥락에서도 빼놓을 수 없습니다.
2. 태동기 – 노이만의 1928년 논문
게임 이론의 역사를 더듬어 보면 가장 먼저 이름이 오르는 것은 존 폰 노이만(John von Neumann)입니다. 1928년, 노이만은 “사회적 게임의 이론에 관하여”라는 제목의 획기적인 논문을 독일어로 발표했고, 여기서 수학적 분석 방법을 사용해 여러 플레이어가 점수를 주고받는 상황을 모델링했습니다. 노이만 하면 양자역학의 수학적 토대, 현대 컴퓨터 아키텍처의 개념화, 나아가 핵무기 개발 참여까지, 20세기 과학기술 곳곳에 이름이 등장하는 “초천재”입니다. 정말 다채로운 업적을 남겼는데, 그중에는 “게임 이론의 확립”도 포함되어 있습니다.
1928년 당시 노이만은 확률적 게임(룰렛이나 가위바위보 같은 것, 혹은 간단한 카드게임 등)을 수학적으로 정리하고, 거기에 등장하는 용어와 개념을 정리했습니다. 예를 들어 “전략(Strategy)”이나 “보수(Payoff)”처럼 현재 게임 이론에서도 기초가 되는 말들이 이미 이 시기에 고찰되고 있었습니다. 하지만 그 선구성 때문에 노이만의 아이디어는 당시 학계에서 그리 주목받지 못했습니다. 애초에 “게임을 수학으로 연구한다”는 말만 듣고서 진지하게 연구할 가치가 있다고 판단한 연구자가 드물었다고도 합니다. 게다가 논문이 독일어로 쓰인 것도 영어권을 중심으로 한 국제적 확산을 막은 한 원인이었습니다.
3. 『게임 이론과 경제 행동』 – 1944년의 대저서
노이만이 착상을 얻은 지 십수 년이 지난 1944년, 마침내 게임 이론이 크게 도약할 전환점이 찾아옵니다. 경제학자 오스카 모르겐슈테른(Oskar Morgenstern)과의 공저인 『게임 이론과 경제 행동(Theory of Games and Economic Behavior)』의 출간입니다. 600페이지가 넘는 대작으로, 노이만과 모르겐슈테른은 “경제학에서의 상호작용 문제는 게임 이론을 축으로 수리적으로 분석할 수 있다”고 주장했습니다.
경제학계에서도 그전까지 시장이나 경쟁 상황을 수식화하려는 움직임이 있었지만, 플레이어들이 서로 영향을 주고받는 “전략적 상호작용”을 정면으로 다루기에는 부족했습니다. 반면 노이만과 모르겐슈테른의 이 대저서는 두 명 또는 여러 명의 플레이어가 점수나 돈을 빼앗는 “제로섬 게임”이라는 단순한 모델에서 시작해, 이를 확장해 “비제로섬 게임”으로 논의를 이어가는 체계적인 틀을 제시했습니다. “제로섬 게임”이나 “미니맥스 원리”, “기대 보수”처럼 오늘날까지 쓰이는 용어와 정리가 이 시점에 이미 등장했습니다. 이로써 게임 이론은 경제학계에 일거에 침투해 학문 영역으로서 확고한 지위를 다져 나가게 됩니다.
4. 내시의 등장과 “내시 균형”
게임 이론 하면 “내시 균형”이라는 말을 떠올리는 분도 적지 않을 것입니다. 이는 존 내시(John Forbes Nash)가 1950년에 발표한 논문으로 확립된 개념입니다. 내시는 젊은 천재 수학자였으며, 박사 과정 재학 중에 “임의의 유한 인원 게임에서 모든 플레이어의 전략 조합으로서 균형점이 반드시 하나 이상 존재한다”는 사실을 증명해 냈습니다. 이것이 이른바 “내시 균형(Nash Equilibrium)”입니다. 내시 균형에서는 다른 플레이어들의 전략이 고정되어 있다고 가정할 때, 누구라도 전략을 바꾸려고 해도 기대 보수를 개선할 수 없는 상태가 성립합니다. 모든 플레이어가 동시에 최적 대응을 주고받은 결과, 아무도 전략을 바꿀 유인이 없는 균형 잡힌 점이라고 할 수 있습니다.
내시의 공적이 획기적이었던 이유는 “반드시 존재한다”는 존재 정리를 증명했다는 점이었습니다. 예를 들어 가위바위보처럼 무엇을 내도 반반으로 승부가 결정되는 간단한 게임이라도, 수학적으로 “어떤 게임이든 어떤 균형점이 있다”고 말할 수 있는지는 별개의 문제입니다. 내시는 이 어려움을 훌륭히 해결했고, 이를 위해 “고정점 정리”라는 고도의 도구를 사용했습니다. 이 고정점 정리는 일본인 수학자 가쿠타니 시즈오가 구축에 크게 기여한 것으로 알려져 있으며, 내시가 “이런 정리가 있으면 증명할 수 있겠다”고 떠올렸고 그것이 가쿠타니에 의해 제공되었다고 전해집니다.
5. 진화생물학으로의 응용과 경제학의 심화
게임 이론이 경제학에서 주목을 받으면서 더욱 다양한 분야로의 응용이 이어졌습니다. 그중에서도 특히 주목할 만한 것은 생물학으로의 응용입니다. 생물 간의 투쟁이나 협력 행동, 혹은 암컷을 둘러싼 수컷들 간의 전략 등을 게임 이론으로 분석하려는 움직임이 1970년대 무렵부터 활발해졌습니다. 이 분야는 “진화 게임 이론”이라고 불리며, 진화적으로 안정한 전략(ESS: Evolutionarily Stable Strategy) 같은 새로운 개념이 등장합니다. ESS는 어떤 전략을 취하는 개체가 집단에서 다수가 되었을 때, 소수의 돌연변이 전략이 다수의 전략을 이겨낼 수 없다는 진화적 안정성을 보여 줍니다. 생물은 합리적으로 생각해서 행동하는 것이 아니지만, 선택 압력 아래에서 “전략”이 자연스럽게 다듬어지는 과정을 수학적으로 모델링하는 데는 게임 이론이 매우 잘 맞았습니다.
한편 경제학에서는 “내시 균형”과 “비협조적 게임 이론”을 중심으로 복잡한 시장 경쟁이나 경매 메커니즘을 설계하는 이론이 발달했습니다. 경매 이론으로 노벨 경제학상을 받은 연구자들은 그 핵심 부분에 게임 이론을 활용하고 있습니다. 오늘날 전자상거래나 광고 게재의 입찰 시스템 뒤에도 게임 이론의 사상이 살아 있다고 해도 과언이 아닐 것입니다.
6. 포커와 게임 이론의 관계 – GTO라는 키워드
자, “게임 이론”이라고 하면 장기나 체스 같은 것도 떠오를지도 모릅니다. 하지만 이들은 이른바 “완전 정보 게임”으로, 서로가 보드의 정보를 모두 공유한 상태에서 전략을 세우는 유형의 게임입니다. 반면 포커는 “불완전 정보 게임”으로 분류되며, 내 손패는 보이지만 상대의 손패는 보이지 않는 정보의 비대칭성이 존재합니다. 불완전 정보 게임에서는 상대의 손패와 움직임을 추측하면서 벳과 레이즈의 타이밍과 금액을 생각해야 합니다. 서로 블러프를 걸어대고, 확률론을 활용해 기대값을 계산하는 등 전략의 폭이 훨씬 넓습니다.
이러한 “불완전 정보 게임”에 대해 수학적으로 “더 이상 익스플로잇(공략)되지 않는다”는 전략의 하나의 목표가 “GTO(Game Theory Optimal)”라고 불립니다. 다만 엄밀한 게임 이론 용어는 아니며, 2인 제로섬 게임에서의 “내시 균형 전략”을 플레이어 관점에서 보았을 때 “내가 취하는 전략 자체가 상대에게 공략되지 않는 전략”이라는 의미로 GTO라는 말이 포커 플레이어들 사이에서 애용되게 되었습니다.
GTO의 배경 – 2인 제로섬 게임
포커 이론에서 “GTO를 극한까지 파다”는 것은 결국 “내시 균형을 자신의 전략으로 체득한다”에 가까운 발상입니다. 포커가 두 플레이어가 칩을 빼앗는 제로섬 게임이라고 가정하면, “내시 균형인 전략의 쌍”이 반드시 존재하고, 한쪽이 그것을 실행하면 상대는 기대값을 높일 수 없다는 성질을 갖습니다. 다만 포커가 실제로는 6인이나 9인 등 여러 명이 하는 경우, 내시 균형에 대한 논의는 훨씬 복잡해지며, 2인 제로섬 이론을 그대로 바로 적용할 수 없는 점도 많습니다. 하지만 실전에서는 헤즈업(1대1) 상황의 GTO를 이해함으로써 3인 이상의 경우에도 근사적으로 적용할 수 있습니다.
7. CFR의 등장 – 내시 균형을 계산하려는 시도
1950년대에 내시가 “내시 균형의 존재”를 보여 준 이후, 오늘날에 이르기까지 많은 수학자들이 “내시 균형을 어떻게 구체적으로 계산할 것인가”라는 문제에 도전해 왔습니다. 하지만 게임이 복잡해질수록, 즉 플레이어 수가 늘거나 선택지가 방대해질수록 이론적으로 존재가 알려져 있어도 실제로 균형점을 구하는 것은 매우 어렵습니다.
여기서 큰 임팩트를 준 것이 2007년 무렵 제안된 “CFR(Counterfactual Regret Minimization)”이라는 기법입니다. 일본어로는 “반사실적 후회 최소화 알고리즘” 등으로 번역됩니다. 이는 게임의 각 국면을 “만약 다른 행동을 택했다면 어땠을까?”라고 돌아보고(이를 반사실이라고 부릅니다), 그때의 “후회”를 줄이는 방향으로 전략을 개선해 나가는 반복 알고리즘입니다. CFR의 큰 장점은 2인 제로섬 게임이라면 이론적으로 “엡실론-내시 균형(약간의 오차가 있는 내시 균형)”에 수렴한다는 것이 보장된다는 점입니다. 실제로 포커(특히 헤즈업 상황)를 고속으로 시뮬레이션할 때 극히 유용하며, AI가 포커 플레이어를 이기기 위한 열쇠가 되었습니다.
8. AI의 발전 – Libratus와 Pluribus
Libratus(리브라투스)의 충격
2017년, 카네기멜론 대학의 연구자들이 개발한 포커 AI “Libratus(리브라투스)”가 큰 주목을 받았습니다. 헤즈업 노리밋 홀덤에서 인간 최고 수준의 포커 프로와 대결해 승리를 거둔 것입니다. 장기나 체스, 바둑 같은 완전 정보 게임에서 AI가 인간을 능가하는 사례는 이미 있었지만, 불완전 정보 게임인 포커에서 “프로 플레이어를 이기는 AI”가 탄생한 것은 게임 이론과 AI 연구 양쪽 모두에게 획기적인 사건이었습니다.
Libratus는 CFR 계열의 기법을 발전시켜 막대한 계산 자원을 투입하면서 전략을 단계적으로 추상화하는 방식을 채택했습니다. 포커에는 무한에 가까운 수의 벳 금액과 상황이 존재하지만, “(기대값상으로는) 세부 사항이 그다지 영향을 미치지 않는다”고 보는 국면을 묶어 계산 부하를 줄입니다. 그 위에 중요한 국면은 상세하게 계산하는 식의 고안이 이루어졌습니다. 그 결과 방대한 국면을 탐색하면서도 제한된 시간 안에 보다 정확하게 내시 균형에 가까운 전략을 도출할 수 있게 되었습니다.
Pluribus(플루리버스)의 진화
이어 2019년에는 같은 연구 그룹이 개발한 “Pluribus(플루리버스)”가 6인 노리밋 홀덤에서 프로 플레이어들과 겨루어 압승을 거두었습니다. 6인이라는 복수 인원의 포커는 단순한 헤즈업에 비해 게임 구조가 훨씬 복잡합니다. 2인 제로섬의 이론적 보장이 통하지 않아 CFR을 아무리 돌려도 엄밀한 수렴은 보장되지 않습니다. 그럼에도 실험적으로는 인간 최고 프로를 능가하는 강함을 보여 주었습니다. 포커 플레이어들 사이에서는 “선정된 인원이 진짜 최고 프로가 아니다”는 논란도 있었지만, 그럼에도 “복수 인원 포커라도 기존 AI 기법을 적용하는 것만으로 인간을 능가할 수 있다”는 사실은 매우 큰 임팩트를 주었습니다. 실제로 많은 프로가 “이제는 AI에게 이길 수 없을지도 모른다”고 생각하게 되었습니다.
9. 게임 이론은 아직 “미완의 학문”
지금까지 살펴본 것처럼 게임 이론은 이미 많은 성과를 올렸고, 실제로 포커나 장기, 경제학이나 경매, 진화생물학 등 실로 폭넓은 분야에 응용되고 있습니다. 하지만 그렇다고 해서 게임 이론이 모든 것을 밝혀낸 것은 아닙니다. 현재의 게임 이론에는 다음과 같은 과제가 있습니다.
- 복수 인원 게임에서 내시 균형의 성질
2인의 제로섬 게임에서는 내시 균형을 하나 찾으면 그 전략을 채택해 두면 상대에게 공략당할 걱정이 없고, 나아가 승리(기대값)도 일정 수준 이상 확보할 수 있다는 성질이 있습니다. 하지만 3인 이상이 되면 내시 균형의 성질은 훨씬 복잡해집니다. 내시 균형이 여러 개 존재하거나, 어느 쪽이 더 우수한지 비교하기 어려운 경우도 있습니다. 이것은 이론적으로도 아직 미해명인 부분이 많고, 하물며 실질적으로 계산하는 데는 엄청난 수고가 필요합니다. - 불완전 정보 게임 전반의 완전한 분석은 극히 어렵다
포커는 손패가 보이지 않는 불완전 정보 게임의 대표적인 예이며, CFR을 사용한 AI가 등장하면서 “클리어되었다”고 생각할지도 모릅니다. 하지만 “헤즈업”, “리밋”, “스택 사이즈 고정” 등 실제로는 단계적으로 제약을 더해 분석해 온 과정이 있으며, 제약을 풀면 풀수록 계산이 비약적으로 어려워집니다. 또한 플루리버스의 예처럼 비제로섬 요소나 복수 인원에서의 상호작용에 대해서는 여전히 충분한 이론적 보장이 없는 채 “경험적으로 강한 AI”를 만들어 내고 있을 뿐입니다. - 인간은 반드시 합리적이지는 않다
게임 이론은 각 플레이어가 “합리적으로 보수를 극대화하려 한다”는 가정을 둡니다. 하지만 현실의 인간은 반드시 합리적으로 행동하지 않습니다. 심리적 편향이나 손실 회피 같은 비합리적 요소가 의사 결정에 개입하는 경우가 많습니다. 이런 요소는 게임 이론의 틀 밖에 있다고 할 수도 있지만, 최근에는 행동경제학의 발전으로 “어떻게 비합리적인지”를 정량화하려는 시도도 진행되고 있습니다.
10. 정리와 전망
게임 이론의 역사는 노이만이 1928년에 발표한 논문에서 시작되어 1944년의 『게임 이론과 경제 행동』으로 크게 확장되었습니다. 1950년에는 존 내시가 “내시 균형”의 존재를 증명하며, 다수의 전략적 의사 결정을 수학적으로 다루기 위한 강력한 토대를 마련했습니다. 이후 경제학뿐 아니라 진화생물학이나 정치학 등으로의 응용이 이어졌고, 21세기에 들어서는 AI 기술과 결합해 포커 같은 불완전 정보 게임에서도 인간 최고 프로를 이기는 컴퓨터가 탄생했습니다. 그 뒤에는 “CFR”이라는 알고리즘과 대규모 계산 자원을 교묘하게 운용하는 구현 기술이 있습니다.
그렇다고 해서 게임 이론이 “모든 전략적 문제를 해결할 수 있는 만능 이론”은 아닙니다. 인원이 늘거나 플레이어들 사이에 협력 관계 요소가 섞이거나 인간의 비합리성이 얽힐수록 이론은 복잡해지고, 계산상의 어려움도 비약적으로 증가합니다. 그렇기에 여전히 많은 연구자들이 “더 큰 게임을 더 빠르고 더 정확하게 푸는 방법”에 도전하고 있습니다.
한편 포커 업계에서는 “GTO 전략을 이해하고 실천하자”는 움직임이 확산되며, 최고 플레이어 대부분이 어떤 형태로든 솔버나 CFR 기반 연구 도구를 활용하고 있습니다. 특히 온라인 포커 세계에서는 1대1에 가까운 상황이나 쇼트핸드(소수 인원)에서 큰 금액을 거는 장면이 빈번해 AI적 접근을 연구하는 것이 필수가 되어 가고 있습니다. 또한 실전에서는 상대 수준에 따라 “익스플로잇(상대의 약점을 찌르는 전략)”을 섞고, 반대로 “자신이 익스플로잇되지 않도록 GTO에 가깝게 수비적인 플레이를 한다”는 식으로 실제 플레이어들은 유연하게 전환합니다. 완벽한 GTO 플레이는 컴퓨터의 방대한 시행과 계산이 필요하므로 인간 플레이어가 100% 재현하기는 어렵지만, 학습의 가이드라인으로 GTO가 자리 잡은 것은 확실합니다.
이런 상황은 게임 이론이 학문 분야를 넘어 실사회에 활용되고 있는 좋은 예일 것입니다. 카지노 같은 도박의 세계뿐 아니라 우리 주변에서도 게임 이론은 사용되고 있습니다. 예를 들어 기업 간 가격 경쟁이나 입찰 시스템은 물론, 일상의 심리전이나 SNS에서의 정보 발신에도 여러 플레이어가 보수를 추구하는 “게임적 상황”이 존재합니다. 사실 우리는 일상생활에서 무의식중에 게임 이론적인 심리전을 펼치고 있을지도 모릅니다.
마치며: 게임 이론을 어떻게 활용할 것인가
게임 이론의 역사를 돌아보면 한 줌의 천재 수학자들의 착상에서 시작되어, 그것이 경제학을 변혁하고 생물학의 이론을 진화시켰으며, 나아가 포커와 AI 연구의 세계까지 바꾸어 왔습니다. 고전적인 이론에서 시작해 이제는 슈퍼컴퓨터의 막대한 시뮬레이션으로 전략을 다듬는 시대에 접어들었습니다. 하지만 인간은 “이론으로 설명할 수 있는 게임”만 하고 있는 것은 아닙니다. 이론이 부족한 곳일수록 연구나 혁신의 여지가 크다고도 할 수 있습니다. 앞으로 AI가 더 발전함에 따라 예상치 못한 새로운 국면이 열릴지도 모릅니다. 예를 들어 “인간의 심리적 편향”이나 “불완전 정보 속에서도 여러 이해관계가 뒤섞인 장면”에 AI가 개입해, 다수 인원 동시 플레이 게임에서 새로운 전략이 싹틀 가능성도 있을 것입니다.
포커만 봐도 여전히 “6인 이상에서는 어디까지 계산 가능한가”, “내시 균형과는 다른 접근으로 더 강한 전략을 만들 수 있지 않을까” 같은 연구 여지가 많이 남아 있습니다. 미래에 슈퍼컴퓨터의 성능이 더 올라가거나 새로운 수학적 돌파구가 생기면, 더 많은 인원의 불완전 정보 게임에서도 엄밀한 균형 전략을 고속으로 구하는 것이 가능해질지도 모릅니다.
“게임 이론”이라고 들으면 한눈에 요행수를 노리는 듯한 인상을 갖는 분도 있을 것입니다. 하지만 그 바탕에 있는 것은 “여러 플레이어가 서로 영향을 주고받는 세계를 수리적으로 이해하려는 태도”입니다. 비즈니스, 정치, 사회 문제, 생태계 – 온갖 분야에서 우리는 무수한 “게임”을 하고 있다고도 할 수 있습니다. 거기에 게임 이론의 생각을 적용해 보면 뜻밖의 사실이 떠오르고, 인간의 행동과 전략의 묘미를 깨닫게 될 것입니다.
게임 이론을 알게 되면서 포커에 흥미가 생겼다면, 꼭 한번 포커에 도전해 보세요. 거기에는 운의 요소뿐 아니라 사람과 사람 사이의 심리전과 확률 계산에 뒷받침된 전략 사고가 짙게 존재합니다. 처음에는 핸드의 강약이나 벳 사이즈의 기본을 배우는 것만으로도 충분히 재미있고, 점차 블러프 타이밍이나 GTO 전략의 본질을 이해할 수 있게 되면 더 깊은 세계가 보입니다.
반대로 학술적인 측면에서 게임 이론에 제대로 들어가 보고 싶은 분은 내시나 노이만의 원전을 접하고, 대학의 경제학이나 수학 강의에서 다루는 이론서에 도전해 보는 것도 좋을 것입니다. 거기에는 추상적인 수식이 늘어서 있을지도 모르지만, 베일을 벗기고 보면 실제 인간 사회의 모든 심리전이 수학이라는 도구로 모델링되어 있다는 사실에 감동하게 될 것입니다.
게임 이론은 지금도 진화를 계속하는 “미완의 학문”입니다. 하지만 그 역사를 더듬어 보면 우리가 살고 있는 세계가 얼마나 “전략”과 “상호작용”으로 가득한지 다시 보입니다. 지금 이 글을 읽고 있는 당신도 어쩌면 내일부터의 생활에서 “이거 게임 이론 같은 상황인가?”라고 느끼는 순간이 늘어날지도 모릅니다. 그럴 때 스스로 “내시 균형이 무슨 뜻이었지?” 하고 곱씹어 보기만 해도 시야가 조금 넓어지고 세계가 재미있어집니다 – 그것이 게임 이론의 진미라고 할 수 있을 것입니다.