Bots de poker IA : comment les algorithmes apprennent à bluffer et à gagner

Le monde est rempli de tâches liées aux interactions entre plusieurs agents. Historiquement, les humains étaient les principaux participants à ces situations multi-agents, mais avec le développement de l'IA, nous avons l'opportunité d'introduire des algorithmes dans notre vie quotidienne en tant que participants égaux et agents avec lesquels nous pouvons interagir. Actuellement, des agents informatiques similaires résolvent de nombreuses tâches : des plus simples et inoffensives comme les systèmes téléphoniques automatiques, aux plus critiques comme la gestion de la sécurité et même la gestion des transports autonomes. Cela nous permet d'automatiser considérablement de nombreux processus quotidiens, en transférant la prise de décision aux algorithmes et en réduisant ainsi la charge sur les humains. Les jeux avec asymétrie et information incomplète nécessitent des approches de prise de décision considérablement plus complexes par rapport aux jeux de taille similaire avec une information idéale entièrement disponible à tout moment. La solution optimale à tout moment dépend de la connaissance des stratégies des adversaires, qui dépendent d'informations qui nous sont cachées et qui ne sont disponibles qu'à eux, et qui ne peuvent être évaluées que par leurs actions passées. Cependant, leurs actions précédentes dépendent également d'informations qui leur sont cachées sur nos actions et de la manière dont nos actions ont révélé ces informations. Ce processus récursif montre la principale difficulté dans la construction d'algorithmes de prise de décision efficaces.

Un agent est tout participant autonome au processus qui prend des décisions, qu'il s'agisse d'un humain ou d'un ordinateur. Dans un environnement multi-agents, les agents interagissent les uns avec les autres et ne connaissent pas toujours les stratégies, les objectifs et les capacités des autres agents. Le comportement optimal d'un agent maximisant son résultat dans un tel environnement dépend des actions des autres agents. Pour construire un agent efficace dans un environnement multi-agents, il est nécessaire de s'adapter aux actions des autres agents, en modélisant leurs stratégies et en apprenant sur la base de leur comportement. Pour permettre aux agents de s'adapter en temps réel, ils doivent choisir des actions optimales au fur et à mesure qu'ils obtiennent leurs résultats. Si l'on utilise des approches basées sur l'apprentissage par renforcement, les agents accumuleront des récompenses pour leurs actions. Les agents équilibreront également entre le suivi de leur comportement planifié (exploitation) et les actions exploratoires expérimentales (exploration), en essayant d'acquérir des informations utiles sur les stratégies des autres joueurs. En plus de l'énoncé déjà complexe du problème, les agents seront confrontés à d'autres limitations associées au travail dans un environnement multi-agents avec des informations incomplètes. Celles-ci comprennent des observations limitées, la stochasticité des observations, l'incomplétude des informations observées et le comportement dynamique.

Le poker sert d'exemple principal d'un environnement complexe présentant toutes les propriétés mentionnées ci-dessus. Il implique des informations incomplètes sur les cartes, les stratégies des joueurs participants, un élément de hasard lié à la distribution des cartes, et d'autres difficultés rencontrées pendant le jeu. De plus, le nombre d'états de jeu possibles caractérisant les situations de jeu est énorme. L'histoire du développement de l'IA pour le poker s'étend sur plus de 30 ans, avec les réalisations les plus significatives survenues au cours des 3 dernières années. La complexité du jeu découle de facteurs tels que l'information incomplète, la profondeur stratégique et le caractère aléatoire, ce qui en fait un domaine stimulant mais précieux pour la recherche en IA.

Les premiers programmes d'IA pour le poker ont émergé dans les années 1980, mais un changement de paradigme s'est produit dans les années 2000, s'orientant vers des approches de modélisation spécifiquement pour le poker. En 2015, l'Université de l'Alberta a introduit Cepheus, qui a « résolu » le poker Heads-up limité. Ce fut une étape importante car c'est le seul jeu à information incomplète à avoir une solution optimale complète. En 2017, l'Université de l'Alberta a présenté DeepStack pour le poker Heads-up sans limite, et Libratus de l'Université Carnegie Mellon a battu des joueurs de poker professionnels, démontrant la capacité de l'IA à gérer des jeux stratégiques complexes.

Malgré l'applicabilité apparemment limitée des bots de poker aux tâches du monde réel, leur développement a produit de nombreuses méthodes qui peuvent être transférées du jeu de cartes à la pratique. Les algorithmes des bots de poker modernes qui battent les meilleurs joueurs humains sont universels et visent généralement à entraîner des agents dans des environnements avec des informations incomplètes et asymétriques. Ils peuvent être transférés à de nombreuses applications où la prise de décision est requise dans un environnement similaire complexe : de la sécurité au marketing, dans lequel vous pouvez simuler des enchères pour un public. Dans le secteur bancaire, il existe également de nombreuses tâches pratiques où les algorithmes derrière les bots de poker avancés trouveraient une application. Parmi ces tâches commerciales de Sberbank, il convient de noter principalement la gestion du risque-rendement et la tarification sur le marché avec de nombreux autres objets bancaires. Mais la liste de ces applications peut facilement être étendue à des tâches telles que la gestion de la valeur client ou la prochaine meilleure action.

Le Sberbank Holdem Challenge est un hackathon visant à favoriser le développement de l'apprentissage automatique et de l'IA en mettant au défi les participants de créer des agents IA capables de prendre des décisions optimales dans des conditions incertaines et de modéliser le comportement des autres joueurs au poker. Le défi se concentre sur le No-limit Texas Hold’em, la variante la plus complexe du poker, et implique le développement d'agents capables de jouer contre d'autres bots IA dans une série de manches. La compétition se compose d'un tournoi de qualification en ligne et d'un hackathon hors ligne pour les 100 meilleurs finalistes.

Pour créer un bot de poker, vous avez besoin d'un langage de programmation, d'un simulateur de jeu de poker (tel que PyPokerEngine) et du code du bot lui-même. Un bot simple peut être implémenté en Python, où il traite les événements du jeu et déclare les actions. Le développement des stratégies de jeu n'est pas limité à Python et peut être fait dans tout autre langage de programmation. Le bot interagit avec le simulateur via stdin/stdout, recevant les événements du jeu et répondant par des actions.

Après chaque tournoi, les participants ont accès à des archives contenant les journaux de jeu de tous les bots. Cela vous permet d'analyser la stratégie de vos adversaires en regardant leurs actions pendant le jeu. Cependant, n'oubliez pas que d'autres participants peuvent également analyser le style de jeu de votre bot et tendre une embuscade à votre bot lors du prochain tournoi. Les rediffusions de jeu sont enregistrées sous forme d'objet JSON avec des champs tels que la règle, les sièges et les manches.

L'environnement d'exécution des bots est une image docker spécialement préparée. Le code du bot, empaqueté dans une archive ZIP, doit être envoyé au système de vérification. L'archive doit contenir un fichier metadata.json spécifiant l'image docker et le point d'entrée. La commande exécutable échange avec le simulateur de jeu via stdin/stdout. Le simulateur transmet un événement par ligne à stdin, au format event_type<\t>data, où data est un objet JSON avec les paramètres de l'événement. En réponse à l'événement declare_action, le bot doit répondre dans stdout dans le temps imparti avec une ligne au format : action<\t>amount.