Die Self-Play-ML-Agenten von Google Stadia deckten das Ungleichgewicht eines Kartenspiels auf und behoben es in wenigen Tagen

Ein Online-Multiplayer-Spiel zu balancieren bedeutet normalerweise einen langsamen Kreislauf: Belastungstests durch Tausende menschliche Playtest-Sitzungen, Feedback einarbeiten, neu gestalten, wiederholen, bis Tester und Designer zufrieden sind. Die Stadia-Ingenieure von Google nannten diesen Prozess nicht nur zeitaufwendig, sondern auch unvollkommen – je mehr Rollen, Fähigkeiten und ineinandergreifende Mechaniken ein Spiel hat, desto leichter schlüpfen subtile Fehler durch.

Ihre Antwort darauf war, Modelle des maschinellen Lernens als Playtester zu trainieren. Bei Chimera, einem digitalen Kartenspiel-Prototyp, der bewusst mit einem großen Zustandsraum und unvollständiger Information gebaut wurde, damit eine handgeschriebene KI schwer zu schreiben wäre, trainierten sie ein Convolutional Network darauf, aus einer Bildkodierung des Spielbretts die Gewinnwahrscheinlichkeit vorherzusagen. Der Agent begann mit zufälligen Zügen und spielte dann gegen sich selbst, wobei jede Iteration die Qualität der Daten und die Stärke des Spiels verbesserte.

Simulierte Partien liefen in die Millionen, weit mehr, als menschliche Tester produzieren könnten. Die Daten legten offen, was die Sitzungen übersehen hatten: Das Deck Evasion Link Gen besiegte das Deck Damage-Heal in 60 % der Fälle, die Chimera-Evolution war stärker als von den Designern gedacht, trat aber seltener ein als beabsichtigt, und die Kreatur T-Rex war übermächtig – der Agent spielte sie ungeachtet der Strafen für falsche oder überfüllte Biome. Die Designer senkten die Energiekosten der Evolution von 3 auf 1 und verdoppelten die Abklingzeit des T-Rex, doch das Gewinnverhältnis blieb bei 60/40.

Ein zweiter Durchgang über die Spielprotokolle ergab, dass die Partien noch zu flach waren: Startgesundheit und Heilung wurden erhöht, um die Spiele zu verlängern, die Strafen für die Platzierung von Biomen wurden verschärft und der Abstand zwischen der stärksten und der schwächsten Kreatur verringert. Über eine Million abschließende Partien fiel Evasion Link Gen von 59,1 % auf 49,8 % Siege und Damage-Heal stieg von 40,9 % auf 50,2 %, während die durchschnittlichen Evolutionen pro Partie von 1,54 auf 2,16 und von 0,86 auf 1,76 stiegen. Das Team berichtete, Ungleichgewichte in wenigen Tagen gefunden und behoben zu haben, wo monatelanges Playtesting die Norm gewesen war.

Self-Play-ML-Agenten testen in einem Maßstab, den Menschen nicht erreichen können

Millionen simulierte Partien verwandeln Balance in Statistik: Eine Deck-Aufteilung von 60/40 zeigt sich in aggregierten Daten, statt als vages Gefühl aus ein paar Dutzend Sitzungen zu überleben.

Self-Play bootstrappt ohne handgeschriebene Regeln: Zufälliges Spielen startet den Kreislauf, jede Generation verbessert ihre eigenen Daten, und ein einfaches CNN auf Bildzuständen lernt ein Spiel, das für traditionelle KI zu komplex ist.

Der Agent demonstriert, statt zu berichten: Er spielte stets den übermächtigen T-Rex trotz Strafen und machte damit einen blinden Fleck der Designer unbestreitbar und handlungsfähig.

Billige Iteration ist das ganze Spiel: Regeländerungen werden in wenigen Tagen über eine Million Partien erneut getestet, und dasselbe kleine Modell läuft auf einer CPU im Client, um die Gewinnwahrscheinlichkeit live anzuzeigen.

Wenn ein Qualitätskreislauf von langsamen menschlichen Tests abhängt, baue einen billigen synthetischen Nutzer, der Millionen Versuche ausführen kann, und justiere dann die Regeln anhand der Muster, die er offenlegt; monatelanges Testen schrumpft auf wenige Tage.

Die Balance-Arbeit endete damit, dass die beiden Decks über eine Million simulierte Partien nahezu gleichauf lagen, und die Ingenieure sagten, der Zyklus aus Erkennen und Beheben habe in wenigen Tagen gelaufen, wo monatelanges Playtesting die Norm gewesen war. Ein einfaches neuronales Netz, fügten sie hinzu, erreichte hochklassiges Spiel gegen Menschen und traditionelle Spiel-KI, und dieselben Agenten könnten später neue Spieler coachen oder Strategien aufdecken, die sich die Designer nicht vorgestellt hatten. Der Artikel selbst war das Argument des Teams, dass ML in den Spieleentwicklungs-Kreislauf gehört, nicht nur ins Spiel.