ИИ-боты для покера: как алгоритмы учатся блефовать и побеждать

Мир полон задач, связанных с взаимодействием между несколькими агентами. Исторически основными участниками таких многоагентных ситуаций были люди, но с развитием ИИ у нас появилась возможность внедрять алгоритмы в нашу повседневную жизнь как равных участников и агентов, с которыми мы можем взаимодействовать. В настоящее время подобные компьютерные агенты решают множество задач: от простых и безобидных, таких как автоматические телефонные системы, до критически важных, таких как управление безопасностью и даже управление автономным транспортом. Это позволяет нам значительно автоматизировать многие повседневные процессы, передавая принятие решений алгоритмам и тем самым снижая нагрузку на людей. Игры с асимметрией и неполной информацией требуют значительно более сложных подходов к принятию решений по сравнению с играми аналогичного размера с идеальной информацией, доступной в любой момент времени. Оптимальное решение в любой момент времени зависит от знания стратегий противников, которые зависят от скрытой от нас информации, доступной только им, которую можно оценить только по их прошлым действиям. Однако их предыдущие действия также зависят от скрытой от них информации о наших действиях и о том, как наши действия раскрыли эту информацию. Этот рекурсивный процесс демонстрирует основную сложность построения эффективных алгоритмов принятия решений.

Агент — это любой автономный участник процесса, принимающий решения, будь то человек или компьютер. В многоагентной среде агенты взаимодействуют друг с другом и не всегда знают стратегии, цели и возможности других агентов. Оптимальное поведение агента, максимизирующего свой результат в такой среде, зависит от действий других агентов. Для построения эффективного агента в многоагентной среде необходимо адаптироваться к действиям других агентов, моделируя их стратегии и обучаясь на основе их поведения. Чтобы агенты могли адаптироваться в режиме реального времени, им необходимо выбирать оптимальные действия по мере достижения своих результатов. При использовании подходов, основанных на обучении с подкреплением, агенты будут накапливать вознаграждения за свои действия. Агенты также будут балансировать между следованием запланированному поведению (эксплуатация) и экспериментальными исследовательскими действиями (исследование), пытаясь получить полезную информацию о стратегиях других игроков. Помимо уже сложной постановки задачи, агенты столкнутся с другими ограничениями, связанными с работой в многоагентной среде с неполной информацией. К ним относятся ограниченные наблюдения, стохастичность наблюдений, неполнота наблюдаемой информации и динамическое поведение.

Покер служит ярким примером сложной среды, обладающей всеми вышеперечисленными свойствами. Он включает в себя неполную информацию о картах, стратегиях участвующих игроков, элемент случайности, связанный с раздачей карт, и другие трудности, возникающие во время игры. Кроме того, количество возможных игровых состояний, характеризующих игровые ситуации, огромно. История развития ИИ для покера насчитывает более 30 лет, при этом наиболее значительные достижения приходятся на последние 3 года. Сложность игры обусловлена такими факторами, как неполная информация, стратегическая глубина и случайность, что делает ее сложной, но ценной областью для исследований в области ИИ.

Ранние программы ИИ для покера появились в 1980-х годах, но парадигмальный сдвиг произошел в 2000-х годах, когда начали развиваться подходы к моделированию специально для покера. В 2015 году Университет Альберты представил Cepheus, который «решил» лимитный хедз-ап покер. Это стало важной вехой, поскольку это единственная игра с неполной информацией, имеющая полное оптимальное решение. В 2017 году Университет Альберты представил DeepStack для безлимитного хедз-ап покера, а Libratus из Университета Карнеги — Меллона победил профессиональных игроков в покер, продемонстрировав способность ИИ справляться со сложными стратегическими играми.

Несмотря на кажущуюся ограниченную применимость покерных ботов к реальным задачам, их разработка привела к появлению многочисленных методов, которые могут быть перенесены из карточной игры на практику. Алгоритмы современных покерных ботов, побеждающих лучших игроков-людей, универсальны и в целом направлены на обучение агентов в средах с неполной и асимметричной информацией. Они могут быть перенесены на множество приложений, где требуется принятие решений в аналогично сложной среде: от безопасности до маркетинга, где можно симулировать торги за аудиторию. В банковском секторе также существует множество практических задач, где алгоритмы, лежащие в основе продвинутых покерных ботов, нашли бы применение. Среди таких бизнес-задач Сбербанка стоит отметить в первую очередь управление риском-доходностью и ценообразование на рынке с множеством других банковских объектов. Но список этих приложений легко может быть расширен до таких задач, как управление ценностью клиента (Customer Value Management) или Next Best Action.

Sberbank Holdem Challenge — это хакатон, направленный на развитие машинного обучения и ИИ, предлагающий участникам создать ИИ-агентов, способных принимать оптимальные решения в неопределенных условиях и моделировать поведение других игроков в покере. Соревнование фокусируется на безлимитном Техасском Холдеме, самой сложной разновидности покера, и включает разработку агентов, которые могут играть против других ИИ-ботов в серии раундов. Соревнование состоит из онлайн-отборочного турнира и офлайн-хакатона для 100 лучших финалистов.

Для создания покерного бота вам понадобится язык программирования, симулятор покерной игры (например, PyPokerEngine) и сам код бота. Простой бот может быть реализован на Python, где он обрабатывает игровые события и объявляет действия. Разработка игровых стратегий не ограничивается Python и может быть выполнена на любом другом языке программирования. Бот взаимодействует с симулятором через stdin/stdout, получая игровые события и отвечая действиями.

После каждого турнира участникам доступны архивы с игровыми логами всех ботов. Это позволяет анализировать стратегию ваших противников, наблюдая за их действиями во время игры. Однако помните, что другие участники также могут анализировать стиль игры вашего бота и устроить засаду для вашего бота в следующем турнире. Повторы игр записываются в виде JSON-объекта с полями, такими как rule, seats и rounds.

Среда для запуска ботов представляет собой специально подготовленный docker-образ. Код бота, упакованный в ZIP-архив, должен быть отправлен в систему верификации. Архив должен содержать файл metadata.json, указывающий docker-образ и точку входа. Исполняемая команда обменивается данными с игровым симулятором через stdin/stdout. Симулятор передает одно событие в строку на stdin в формате event_type<\t>data, где data — это JSON-объект с параметрами события. В ответ на событие declare_action бот должен ответить в stdout в отведенное время строкой в формате: action<\t>amount.