KI-Pokerbots: Wie Algorithmen lernen zu bluffen und zu gewinnen

Die Welt ist voller Aufgaben, die Interaktionen zwischen mehreren Agenten betreffen. Historisch gesehen waren Menschen die Hauptteilnehmer an diesen Multi-Agenten-Situationen, aber mit der Entwicklung der KI haben wir die Möglichkeit, Algorithmen als gleichberechtigte Teilnehmer und Agenten in unser tägliches Leben einzuführen, mit denen wir interagieren können. Derzeit lösen ähnliche Computeragenten viele Aufgaben: von einfachen und harmlosen wie automatischen Telefonsystemen bis hin zu kritischen wie Sicherheitsmanagement und sogar autonomer Transportsteuerung. Dies ermöglicht es uns, viele alltägliche Prozesse erheblich zu automatisieren, die Entscheidungsfindung an Algorithmen zu übertragen und dadurch die Belastung für den Menschen zu reduzieren. Spiele mit Asymmetrie und unvollständiger Information erfordern deutlich komplexere Entscheidungsansätze im Vergleich zu Spielen ähnlicher Größe mit idealer Information, die jederzeit vollständig verfügbar ist. Die optimale Lösung zu einem bestimmten Zeitpunkt hängt vom Wissen über die Strategien der Gegner ab, die von uns verborgenen und nur ihnen verfügbaren Informationen abhängen, die nur anhand ihrer vergangenen Handlungen beurteilt werden können. Ihre früheren Handlungen hängen jedoch auch von ihnen verborgenen Informationen über unsere Handlungen ab und davon, wie unsere Handlungen diese Informationen preisgaben. Dieser rekursive Prozess zeigt die Hauptschwierigkeit beim Aufbau effektiver Entscheidungsalgorithmen.

Ein Agent ist jeder autonome Teilnehmer an einem Prozess, der Entscheidungen trifft, sei es ein Mensch oder ein Computer. In einer Multi-Agenten-Umgebung interagieren Agenten miteinander und kennen nicht immer die Strategien, Ziele und Fähigkeiten anderer Agenten. Das optimale Verhalten eines Agenten, der sein Ergebnis in einer solchen Umgebung maximiert, hängt von den Handlungen anderer Agenten ab. Um einen effektiven Agenten in einer Multi-Agenten-Umgebung aufzubauen, ist es notwendig, sich an die Handlungen anderer Agenten anzupassen, ihre Strategien zu modellieren und aus ihrem Verhalten zu lernen. Damit sich Agenten in Echtzeit anpassen können, müssen sie optimale Aktionen wählen, während sie ihre Ergebnisse erzielen. Wenn Ansätze basierend auf Reinforcement Learning verwendet werden, sammeln Agenten Belohnungen für ihre Handlungen. Agenten werden auch zwischen der Befolgung ihres geplanten Verhaltens (Exploitation) und experimentellen Erkundungsaktionen (Exploration) abwägen und versuchen, nützliche Informationen über die Strategien anderer Spieler zu lernen. Zusätzlich zu der bereits komplexen Problemstellung werden Agenten mit anderen Einschränkungen konfrontiert sein, die mit der Arbeit in einer Multi-Agenten-Umgebung mit unvollständiger Information verbunden sind. Dazu gehören begrenzte Beobachtungen, die Stochastizität von Beobachtungen, die Unvollständigkeit beobachteter Informationen und dynamisches Verhalten.

Poker dient als Paradebeispiel für eine komplexe Umgebung, die alle oben genannten Eigenschaften aufweist. Es beinhaltet unvollständige Informationen über Karten, die Strategien der teilnehmenden Spieler, ein Zufallselement im Zusammenhang mit dem Kartengeben und andere Schwierigkeiten, die während des Spiels auftreten. Darüber hinaus ist die Anzahl der möglichen Spielzustände, die Spielsituationen charakterisieren, enorm. Die Geschichte der KI-Entwicklung für Poker erstreckt sich über 30 Jahre, wobei die bedeutendsten Errungenschaften in den letzten 3 Jahren erzielt wurden. Die Komplexität des Spiels ergibt sich aus Faktoren wie unvollständiger Information, strategischer Tiefe und Zufälligkeit, was es zu einem herausfordernden, aber wertvollen Bereich für die KI-Forschung macht.

Frühe Poker-KI-Programme entstanden in den 1980er Jahren, aber ein Paradigmenwechsel fand in den 2000er Jahren statt, hin zu Modellierungsansätzen speziell für Poker. Im Jahr 2015 stellte die University of Alberta Cepheus vor, das Limit Heads-Up Poker 'gelöst' hat. Dies war ein bedeutender Meilenstein, da es das einzige Spiel mit unvollständiger Information ist, das eine vollständige optimale Lösung hat. Im Jahr 2017 präsentierte die University of Alberta DeepStack für No-Limit Heads-Up Poker, und Libratus von der Carnegie Mellon University besiegte professionelle Pokerspieler, was die Fähigkeit der KI demonstrierte, komplexe strategische Spiele zu bewältigen.

Trotz der scheinbar begrenzten Anwendbarkeit von Pokerbots auf reale Aufgaben haben ihre Entwicklung zahlreiche Methoden hervorgebracht, die vom Kartenspiel in die Praxis übertragen werden können. Die Algorithmen moderner Pokerbots, die die besten menschlichen Spieler besiegen, sind universell und zielen im Allgemeinen darauf ab, Agenten in Umgebungen mit unvollständiger und asymmetrischer Information zu trainieren. Sie können auf viele Anwendungen übertragen werden, bei denen Entscheidungsfindung in einer ähnlich komplexen Umgebung erforderlich ist: von Sicherheit bis Marketing, wo Gebote für ein Publikum simuliert werden können. Im Bankensektor gibt es ebenfalls viele praktische Aufgaben, bei denen die Algorithmen hinter fortschrittlichen Pokerbots Anwendung finden würden. Unter solchen Geschäftsaufgaben der Sberbank sind vor allem Risikorendite-Management und Preisgestaltung auf dem Markt mit vielen anderen Bankobjekten zu nennen. Aber die Liste dieser Anwendungen kann leicht auf Aufgaben wie Customer Value Management oder Next Best Action erweitert werden.

Die Sberbank Holdem Challenge ist ein Hackathon, der die Entwicklung von maschinellem Lernen und KI fördern soll, indem er die Teilnehmer herausfordert, KI-Agenten zu entwickeln, die optimale Entscheidungen unter unsicheren Bedingungen treffen und das Verhalten anderer Spieler im Poker modellieren können. Die Herausforderung konzentriert sich auf No-Limit Texas Hold'em, die komplexeste Variante des Pokers, und beinhaltet die Entwicklung von Agenten, die in einer Reihe von Runden gegen andere KI-Bots spielen können. Der Wettbewerb besteht aus einem Online-Qualifikationsturnier und einem Offline-Hackathon für die Top 100 Finalisten.

Um einen Pokerbot zu erstellen, benötigen Sie eine Programmiersprache, einen Poker-Spielsimulator (wie PyPokerEngine) und den Bot-Code selbst. Ein einfacher Bot kann in Python implementiert werden, wo er Spielereignisse verarbeitet und Aktionen deklariert. Die Entwicklung von Spielstrategien ist nicht auf Python beschränkt und kann in jeder anderen Programmiersprache erfolgen. Der Bot interagiert über stdin/stdout mit dem Simulator, empfängt Spielereignisse und antwortet mit Aktionen.

Nach jedem Turnier haben die Teilnehmer Zugriff auf Archive mit den Spiellogdateien aller Bots. Dies ermöglicht es Ihnen, die Strategie Ihrer Gegner zu analysieren, indem Sie ihre Aktionen während des Spiels beobachten. Denken Sie jedoch daran, dass auch andere Teilnehmer den Spielstil Ihres Bots analysieren und im nächsten Turnier eine Falle für Ihren Bot stellen können. Spielwiederholungen werden als JSON-Objekt mit Feldern wie Regel, Sitze und Runden aufgezeichnet.

Die Umgebung für die Ausführung von Bots ist ein speziell vorbereitetes Docker-Image. Der Bot-Code, verpackt in einem ZIP-Archiv, muss an das Verifizierungssystem gesendet werden. Das Archiv muss eine metadata.json-Datei enthalten, die das Docker-Image und den Einstiegspunkt angibt. Der ausführbare Befehl tauscht sich über stdin/stdout mit dem Spielsimulator aus. Der Simulator überträgt ein Ereignis pro Zeile an stdin im Format event_type<\t>data, wobei data ein JSON-Objekt mit Ereignisparametern ist. Als Antwort auf das declare_action-Ereignis muss der Bot innerhalb der zugewiesenen Zeit mit einer Zeile im Format: action<\t>amount. auf stdout antworten.