Bots de Póker con IA: Cómo los Algoritmos Aprenden a Farolear y Ganar

El mundo está lleno de tareas relacionadas con interacciones entre múltiples agentes. Históricamente, las personas han sido los principales participantes en estas situaciones multijugador, pero con el desarrollo de la IA, tenemos la oportunidad de introducir algoritmos en nuestra vida diaria como participantes e agentes equitativos con los que podemos interactuar. En este momento, agentes informáticos similares resuelven muchas tareas: desde las sencillas e inofensivas como los sistemas telefónicos automáticos, hasta las críticas como la gestión de seguridad e incluso la gestión de transporte autónomo. Esto nos permite automatizar significativamente muchos procesos cotidianos, transfiriendo la toma de decisiones a los algoritmos y reduciendo así la carga sobre los humanos. Los juegos con asimetría e información incompleta requieren enfoques significativamente más complejos para la toma de decisiones en comparación con los juegos de tamaño similar con información ideal completamente disponible en cualquier momento. La solución óptima en cualquier momento dado depende del conocimiento de las estrategias de los oponentes, que dependen de información oculta para nosotros y disponible solo para ellos, lo que solo se puede evaluar por sus acciones pasadas. Sin embargo, sus acciones anteriores también dependen de información oculta para ellos sobre nuestras acciones y cómo nuestras acciones revelaron esta información. Este proceso recursivo muestra la principal dificultad en la construcción de algoritmos de toma de decisiones efectivos.

Un agente es cualquier participante autónomo en el proceso que toma decisiones, ya sea humano o computadora. En un entorno multijugador, los agentes interactúan entre sí y no siempre conocen las estrategias, los objetivos y las capacidades de otros agentes. El comportamiento óptimo de un agente que maximiza su resultado en dicho entorno depende de las acciones de otros agentes. Para construir un agente efectivo en un entorno multijugador, es necesario adaptarse a las acciones de otros agentes, modelando sus estrategias y aprendiendo basándose en su comportamiento. Para permitir que los agentes se adapten en tiempo real, necesitan elegir acciones óptimas a medida que logran sus resultados. Si se utilizan enfoques basados en el Aprendizaje por Refuerzo, los agentes acumularán recompensas por sus acciones. Los agentes también equilibrarán entre seguir su comportamiento planificado (explotación) y acciones experimentales exploratorias (exploración), tratando de aprender información útil sobre las estrategias de otros jugadores. Además de la ya compleja declaración del problema, los agentes se enfrentarán a otras limitaciones asociadas con el trabajo en un entorno multijugador con información incompleta. Estas incluyen observaciones limitadas, estocasticidad de las observaciones, incompletitud de la información observada y comportamiento dinámico.

El póker sirve como un ejemplo principal de un entorno complejo que exhibe todas las propiedades mencionadas anteriormente. Implica información incompleta sobre las cartas, las estrategias de los jugadores participantes, un elemento de azar relacionado con el reparto de cartas y otras dificultades encontradas durante el juego. Además, el número de estados de juego posibles que caracterizan las situaciones de juego es enorme. La historia del desarrollo de la IA para el póker abarca más de 30 años, con los logros más significativos ocurriendo en los últimos 3 años. La complejidad del juego surge de factores como la información incompleta, la profundidad estratégica y la aleatoriedad, lo que lo convierte en un dominio desafiante pero valioso para la investigación de la IA.

Los primeros programas de IA para póker surgieron en la década de 1980, pero un cambio de paradigma ocurrió en la década de 2000, moviéndose hacia enfoques de modelado específicamente para el póker. En 2015, la Universidad de Alberta introdujo Cepheus, que 'resolvió' el póker Heads-up con límites. Este fue un hito importante, ya que es el único juego con información incompleta que tiene una solución óptima completa. En 2017, la Universidad de Alberta presentó DeepStack para póker Heads-up sin límites, y Libratus de la Universidad Carnegie Mellon derrotó a jugadores profesionales de póker, demostrando la capacidad de la IA para manejar juegos estratégicos complejos.

A pesar de la aplicabilidad aparentemente limitada de los bots de póker a tareas del mundo real, su desarrollo ha generado numerosos métodos que pueden transferirse del juego de cartas a la práctica. Los algoritmos de los bots de póker modernos que derrotan a los mejores jugadores humanos son universales y generalmente están dirigidos a entrenar agentes en entornos con información incompleta y asimétrica. Pueden transferirse a muchas aplicaciones donde se requiere toma de decisiones en un entorno similarmente complejo: desde seguridad hasta marketing, en el que se puede simular la puja por una audiencia. En el sector bancario, también hay muchas tareas prácticas donde los algoritmos detrás de los bots de póker avanzados encontrarían aplicación. Entre tales tareas comerciales de Sberbank, cabe destacar principalmente la gestión de riesgo-retorno y la fijación de precios en el mercado con muchos otros objetos bancarios. Pero la lista de estas aplicaciones se puede extender fácilmente a tareas como la gestión del valor del cliente o la próxima mejor acción.

El Sberbank Holdem Challenge es un hackathon destinado a fomentar el desarrollo de aprendizaje automático e IA desafiando a los participantes a crear agentes de IA capaces de tomar decisiones óptimas en condiciones inciertas y modelar el comportamiento de otros jugadores en el póker. El desafío se centra en el Texas Hold'em sin límites, la variante más compleja del póker, e implica el desarrollo de agentes que puedan jugar contra otros bots de IA en una serie de rondas. La competencia consta de un torneo de clasificación en línea y un hackathon presencial para los 100 finalistas principales.

Para crear un bot de póker, necesitas un lenguaje de programación, un simulador de juego de póker (como PyPokerEngine) y el código del bot en sí. Un bot simple se puede implementar en Python, donde procesa eventos del juego y declara acciones. El desarrollo de estrategias de juego no se limita a Python y se puede hacer en cualquier otro lenguaje de programación. El bot interactúa con el simulador a través de stdin/stdout, recibiendo eventos del juego y respondiendo con acciones.

Después de cada torneo, los participantes tienen acceso a archivos con los registros de juego de todos los bots. Esto te permite analizar la estrategia de tus oponentes observando sus acciones durante el juego. Sin embargo, recuerda que otros participantes también pueden analizar el estilo de juego de tu bot y tenderle una emboscada en el próximo torneo. Las repeticiones de juego se registran como un objeto JSON con campos como rule, seats y rounds.

El entorno para ejecutar bots es una imagen docker especialmente preparada. El código del bot, empaquetado en un archivo ZIP, debe enviarse al sistema de verificación. El archivo debe contener un archivo metadata.json que especifique la imagen docker y el punto de entrada. El comando ejecutable intercambia con el simulador de juego a través de stdin/stdout. El simulador transmite un evento por línea a stdin, en el formato event_type<\t>data, donde data es un objeto JSON con parámetros del evento. En respuesta al evento declare_action, el bot debe responder en stdout dentro del tiempo asignado con una línea en el formato: action<\t>amount.