Bots de Poker com IA: Como os Algoritmos Aprendem a Blefar e Vencer

O mundo está repleto de tarefas relacionadas a interações entre múltiplos agentes. Historicamente, os humanos eram os principais participantes nessas situações multiagentes, mas com o desenvolvimento da IA, temos a oportunidade de introduzir algoritmos em nosso dia a dia como participantes iguais e agentes com os quais podemos interagir. Atualmente, agentes de computador semelhantes resolvem muitas tarefas: desde as simples e inofensivas, como sistemas telefônicos automáticos, até as críticas, como gerenciamento de segurança e até mesmo gerenciamento de transporte autônomo. Isso nos permite automatizar significativamente muitos processos cotidianos, transferindo a tomada de decisão para algoritmos e, assim, reduzindo o fardo sobre os humanos. Jogos com assimetria e informação incompleta exigem abordagens significativamente mais complexas para a tomada de decisão em comparação com jogos de tamanho semelhante com informação ideal totalmente disponível a qualquer momento. A solução ótima em qualquer momento depende do conhecimento das estratégias dos oponentes, que dependem de informações ocultas para nós e disponíveis apenas para eles, que só podem ser avaliadas por suas ações passadas. No entanto, suas ações anteriores também dependem de informações ocultas para eles sobre nossas ações e como nossas ações revelaram essa informação. Esse processo recursivo mostra a principal dificuldade na construção de algoritmos de tomada de decisão eficazes.

Um agente é qualquer participante autônomo no processo que toma decisões, seja um humano ou um computador. Em um ambiente multiagente, os agentes interagem uns com os outros e nem sempre conhecem as estratégias, objetivos e capacidades de outros agentes. O comportamento ótimo de um agente que maximiza seu resultado em tal ambiente depende das ações de outros agentes. Para construir um agente eficaz em um ambiente multiagente, é necessário adaptar-se às ações de outros agentes, modelando suas estratégias e aprendendo com base em seu comportamento. Para permitir que os agentes se adaptem em tempo real, eles precisam escolher ações ótimas à medida que alcançam seus resultados. Se forem usadas abordagens baseadas em Aprendizagem por Reforço, os agentes acumularão recompensas por suas ações. Os agentes também equilibrarão entre seguir seu comportamento planejado (exploração) e ações experimentais exploratórias (exploração), tentando aprender informações úteis sobre as estratégias de outros jogadores. Além da já complexa declaração do problema, os agentes enfrentarão outras limitações associadas ao trabalho em um ambiente multiagente com informação incompleta. Estas incluem observações limitadas, estocasticidade das observações, incompletude das informações observadas e comportamento dinâmico.

O poker serve como um exemplo primordial de um ambiente complexo que exibe todas as propriedades mencionadas acima. Ele envolve informações incompletas sobre as cartas, as estratégias dos jogadores participantes, um elemento de sorte relacionado à distribuição das cartas e outras dificuldades encontradas durante o jogo. Além disso, o número de estados de jogo possíveis que caracterizam as situações de jogo é enorme. A história do desenvolvimento de IA para poker abrange mais de 30 anos, com as conquistas mais significativas ocorrendo nos últimos 3 anos. A complexidade do jogo surge de fatores como informação incompleta, profundidade estratégica e aleatoriedade, tornando-o um domínio desafiador, mas valioso para a pesquisa em IA.

Os primeiros programas de IA para poker surgiram na década de 1980, mas uma mudança de paradigma ocorreu nos anos 2000, movendo-se em direção a abordagens de modelagem especificamente para poker. Em 2015, a Universidade de Alberta introduziu o Cepheus, que 'resolveu' o poker Heads-up com limite. Este foi um marco significativo, pois é o único jogo com informação incompleta a ter uma solução ótima completa. Em 2017, a Universidade de Alberta apresentou o DeepStack para poker Heads-up sem limite, e o Libratus da Carnegie Mellon University derrotou jogadores profissionais de poker, demonstrando a capacidade da IA de lidar com jogos estratégicos complexos.

Apesar da aplicabilidade aparentemente limitada dos bots de poker a tarefas do mundo real, seu desenvolvimento gerou inúmeros métodos que podem ser transferidos do jogo de cartas para a prática. Os algoritmos dos bots de poker modernos que derrotam os melhores jogadores humanos são universais e geralmente visam treinar agentes em ambientes com informação incompleta e assimétrica. Eles podem ser transferidos para muitas aplicações onde a tomada de decisão é necessária em um ambiente igualmente complexo: de segurança a marketing, no qual você pode simular lances para um público. No setor bancário, também existem muitas tarefas práticas onde os algoritmos por trás dos bots avançados de Poker encontrariam aplicação. Entre essas tarefas de negócios do Sberbank, vale a pena notar principalmente o gerenciamento de risco-retorno e precificação no mercado com muitos outros objetos bancários. Mas a lista dessas aplicações pode ser facilmente estendida para tarefas como Gerenciamento de Valor do Cliente ou Próxima Melhor Ação.

O Sberbank Holdem Challenge é um hackathon voltado para o fomento do desenvolvimento de aprendizado de máquina e IA, desafiando os participantes a criar agentes de IA capazes de tomar decisões ótimas em condições incertas e modelar o comportamento de outros jogadores no poker. O desafio foca no No-limit Texas Hold’em, a variante mais complexa do poker, e envolve o desenvolvimento de agentes que possam jogar contra outros bots de IA em uma série de rodadas. A competição consiste em um torneio de qualificação online e um hackathon offline para os 100 finalistas.

Para criar um bot de poker, você precisa de uma linguagem de programação, um simulador de jogo de poker (como PyPokerEngine) e o código do bot em si. Um bot simples pode ser implementado em Python, onde ele processa eventos do jogo e declara ações. O desenvolvimento de estratégias de jogo não se limita a Python e pode ser feito em qualquer outra linguagem de programação. O bot interage com o simulador via stdin/stdout, recebendo eventos do jogo e respondindo com ações.

Após cada torneio, os participantes têm acesso a arquivos com os logs de jogo de todos os bots. Isso permite analisar a estratégia de seus oponentes observando suas ações durante o jogo. No entanto, lembre-se que outros participantes também podem analisar o estilo de jogo do seu bot e preparar uma emboscada para o seu bot no próximo torneio. Os replays de jogo são gravados como um objeto JSON com campos como regra, assentos e rodadas.

O ambiente para executar bots é uma imagem docker especialmente preparada. O código do bot, empacotado em um arquivo ZIP, deve ser enviado ao sistema de verificação. O arquivo deve conter um arquivo metadata.json especificando a imagem docker e o ponto de entrada. O comando executável troca com o simulador de jogo via stdin/stdout. O simulador transmite um evento por linha para stdin, no formato event_type<\t>data, onde data é um objeto JSON com parâmetros de evento. Em resposta ao evento declare_action, o bot deve responder em stdout dentro do tempo alocado com uma linha no formato: action<\t>amount.