AI 포커 봇: 알고리즘이 블러핑하고 승리하는 방법

세상은 다중 에이전트 간의 상호작용과 관련된 작업으로 가득합니다. 역사적으로 사람들은 이러한 다중 에이전트 상황의 주요 참여자였지만, AI의 발전으로 우리는 알고리즘을 일상생활에 동등한 참여자이자 상호작용할 수 있는 에이전트로 도입할 기회를 얻었습니다. 현재 유사한 컴퓨터 에이전트가 많은 작업을 해결하고 있습니다. 자동 전화 시스템과 같이 간단하고 무해한 것부터 보안 관리 및 자율 운송 관리와 같이 중요한 것까지 말입니다. 이를 통해 의사 결정을 알고리즘에 위임하고 인간의 부담을 줄임으로써 많은 일상 프로세스를 크게 자동화할 수 있습니다. 비대칭 및 불완전 정보 게임은 정보가 항상 완벽하게 제공되는 유사한 크기의 게임에 비해 의사 결정에 훨씬 더 복잡한 접근 방식이 필요합니다. 언제든지 최적의 해결책은 상대방의 전략을 아는 것에 달려 있으며, 이는 우리에게 숨겨져 있고 그들에게만 사용 가능한 정보에 의존하며, 이는 과거 행동을 통해서만 평가될 수 있습니다. 그러나 그들의 이전 행동 또한 우리 행동에 숨겨진 정보와 우리의 행동이 이 정보를 어떻게 드러냈는지에 달려 있습니다. 이 재귀적인 과정은 효과적인 의사 결정 알고리즘 구축의 주요 어려움을 보여줍니다.

에이전트는 인간이든 컴퓨터든 프로세스의 자율적인 참여자입니다. 다중 에이전트 환경에서 에이전트는 서로 상호작용하며 다른 에이전트의 전략, 목표 및 능력을 항상 알지는 못합니다. 이러한 환경에서 결과를 극대화하는 에이전트의 최적 행동은 다른 에이전트의 행동에 달려 있습니다. 다중 에이전트 환경에서 효과적인 에이전트를 구축하려면 다른 에이전트의 행동에 적응하고, 그들의 전략을 모델링하며, 그들의 행동을 기반으로 학습해야 합니다. 에이전트가 실시간으로 적응할 수 있도록 하려면 결과를 달성함에 따라 최적의 행동을 선택해야 합니다. 강화 학습 기반 접근 방식을 사용하는 경우 에이전트는 행동에 대한 보상을 축적합니다. 에이전트는 또한 계획된 행동을 따르는 것(활용)과 다른 플레이어의 전략에 대한 유용한 정보를 배우려고 시도하는 탐색적 행동(탐험) 사이의 균형을 맞출 것입니다. 이미 복잡한 문제 설명 외에도 에이전트는 불완전 정보가 있는 다중 에이전트 환경에서 작업하는 것과 관련된 다른 제한 사항에 직면하게 됩니다. 여기에는 제한된 관찰, 관찰의 무작위성, 관찰 정보의 불완전성 및 동적 행동이 포함됩니다.

포커는 위에서 언급한 모든 속성을 나타내는 복잡한 환경의 대표적인 예입니다. 카드에 대한 불완전한 정보, 참여 플레이어의 전략, 카드 분배와 관련된 확률 요소 및 게임 중에 발생하는 기타 어려움이 포함됩니다. 또한 게임 상황을 특징짓는 가능한 게임 상태의 수는 엄청납니다. 포커용 AI 개발 역사는 30년 이상이며, 가장 중요한 성과는 지난 3년 동안 이루어졌습니다. 게임의 복잡성은 불완전한 정보, 전략적 깊이 및 무작위성과 같은 요인에서 비롯되며, 이는 AI 연구에 있어 도전적이면서도 가치 있는 영역입니다.

초기 포커 AI 프로그램은 1980년대에 등장했지만, 2000년대에는 포커를 위한 모델링 접근 방식으로의 패러다임 전환이 이루어졌습니다. 2015년 앨버타 대학교는 리밋 헤즈업 포커를 '해결한' Cepheus를 소개했습니다. 이는 불완전 정보 게임 중 유일하게 완전한 최적 해법을 가진 게임이라는 점에서 중요한 이정표였습니다. 2017년 앨버타 대학교는 노리밋 헤즈업 포커를 위한 DeepStack을 발표했으며, 카네기 멜론 대학교의 Libratus는 프로 포커 플레이어를 물리치고 AI가 복잡한 전략 게임을 처리할 수 있음을 입증했습니다.

포커 봇의 실제 작업에 대한 적용 가능성이 제한적인 것처럼 보일 수 있지만, 그 개발은 카드 게임에서 실제 작업으로 이전될 수 있는 수많은 방법을 제공했습니다. 최고의 인간 플레이어를 물리치는 최신 포커 봇의 알고리즘은 보편적이며 일반적으로 불완전하고 비대칭적인 정보가 있는 환경에서 에이전트를 훈련하는 것을 목표로 합니다. 이는 보안에서 마케팅(잠재 고객을 위한 입찰 시뮬레이션 가능)에 이르기까지 유사하게 복잡한 환경에서 의사 결정이 필요한 많은 응용 프로그램으로 이전될 수 있습니다. 은행 부문에도 고급 포커 봇의 알고리즘이 적용될 수 있는 많은 실용적인 작업이 있습니다. Sberbank의 이러한 비즈니스 작업 중에서 주로 위험-수익 관리 및 다수의 다른 은행 객체가 있는 시장에서의 가격 책정을 언급할 가치가 있습니다. 그러나 이러한 응용 프로그램 목록은 고객 가치 관리 또는 다음 최적 행동과 같은 작업으로 쉽게 확장될 수 있습니다.

Sberbank Holdem Challenge는 참가자들이 불확실한 조건에서 최적의 결정을 내리고 포커에서 다른 플레이어의 행동을 모델링할 수 있는 AI 에이전트를 만들도록 도전함으로써 기계 학습 및 AI 개발을 촉진하기 위한 해커톤입니다. 이 챌린지는 가장 복잡한 포커 변형인 노리밋 텍사스 홀덤에 중점을 두고 있으며, 일련의 라운드에서 다른 AI 봇과 플레이할 수 있는 에이전트 개발을 포함합니다. 대회는 온라인 예선 토너먼트와 상위 100명의 결선 진출자를 위한 오프라인 해커톤으로 구성됩니다.

포커 봇을 만들려면 프로그래밍 언어, 포커 게임 시뮬레이터(예: PyPokerEngine), 그리고 봇 코드 자체가 필요합니다. 간단한 봇은 Python으로 구현할 수 있으며, 여기서 게임 이벤트를 처리하고 행동을 선언합니다. 게임 전략 개발은 Python에 국한되지 않으며 다른 프로그래밍 언어로도 수행할 수 있습니다. 봇은 stdin/stdout을 통해 시뮬레이터와 상호 작용하며 게임 이벤트를 수신하고 행동으로 응답합니다.

각 토너먼트 후 참가자는 모든 봇의 게임 로그가 포함된 아카이브에 액세스할 수 있습니다. 이를 통해 게임 중 상대방의 행동을 관찰하여 상대방의 전략을 분석할 수 있습니다. 그러나 다른 참가자도 봇의 플레이 스타일을 분석하고 다음 토너먼트에서 봇을 매복할 수 있다는 점을 기억하십시오. 게임 리플레이는 rule, seats, rounds와 같은 필드가 있는 JSON 객체로 기록됩니다.

봇을 실행하기 위한 환경은 특별히 준비된 도커 이미지입니다. ZIP 아카이브로 압축된 봇 코드는 검증 시스템에 제출해야 합니다. 아카이브에는 도커 이미지와 진입점을 지정하는 metadata.json 파일이 포함되어야 합니다. 실행 가능한 명령은 stdin/stdout을 통해 게임 시뮬레이터와 교환됩니다. 시뮬레이터는 한 줄에 하나의 이벤트를 stdin으로 전송하며, 형식은 event_type<\t>data이며, 여기서 data는 이벤트 매개변수가 포함된 JSON 객체입니다. declare_action 이벤트에 대한 응답으로 봇은 할당된 시간 내에 stdout에 action<\t>amount 형식의 줄로 응답해야 합니다.