Ein Go-Programm, das Amateure schlagen können, fand KataGos blinden Fleck – und besiegte die übermenschliche KI

KataGo, die Open-Source-Go-KI, die Spitzenspieler schlägt, lernte das Spiel aus Millionen von Partien gegen sich selbst. Im November 2022 veröffentlichte ein Team von KI-Forschenden, darunter Adam Gleave, damals Doktorand an der UC Berkeley, eine Methode, um sie zu besiegen: eine adversarische Policy, aufgebaut aus einem neuronalen Netz plus Monte-Carlo-Baumsuche, die blinde Flecken ausnutzt, die dieses Training hinterlassen hat.

Während einer Partie, erklärt Gleave, beansprucht der Gegner zunächst eine kleine Ecke des Bretts und lässt KataGo den Rest nehmen, wobei er sein Territorium mit leicht zu schlagenden Steinen besetzt. „Das verleitet KataGo zu der Annahme, es habe bereits gewonnen“, sagt er – doch das Territorium unten links trägt tatsächlich nicht zu seiner Punktzahl bei, weil die Anwesenheit schwarzer Steine bedeutet, dass es nicht vollständig gesichert ist.

Überzeugt, zu gewinnen, spielt KataGo einen Pass; zwei aufeinanderfolgende Pässe beenden die Partie, und die Auszählung berücksichtigt nur das Eckterritorium des Gegners. Der Trick funktioniert, obwohl der Gegner so schwach ist, dass menschliche Amateure ihn relativ leicht besiegen können – sein einziger Zweck ist es, eine unvorhergesehene Schwachstelle anzugreifen.

Gleave sagt, das Ergebnis zeige, dass KI-Systeme, die scheinbar auf menschlichem Niveau agieren, „dies oft auf eine sehr fremdartige Weise tun und daher auf für Menschen überraschende Weise versagen können“ – unterhaltsam bei Go, aber eine Warnung für sicherheitskritische Systeme, die die Notwendigkeit automatisierter Tests unterstreicht, die Worst-Case-Versagensmodi finden statt Durchschnittsleistung.

Spiele die Maschine nicht aus – täusche sie: Halte eine Ecke, lass die KI „gewinnendes“, aber ungesichertes Territorium nehmen, und sie spielt früh einen Pass, wodurch die Partie auf dem Bluff endet.

Es besiegt eine übermenschliche spielende KI nicht durch besseres Go-Spiel, sondern durch die Ausnutzung der Art und Weise, wie die KI die Partie auszählt.

Der Gewinnmechanismus ist ein Bluff: Überzeuge den Gegner, dass er bereits gewonnen hat, und beende dann die Partie, während sein Territorium noch ungesichert ist.

Der Gegner ist absichtlich schlecht im Go-Spiel – Amateure besiegen ihn –, was das Ergebnis als Fund einer Schwachstelle isoliert, nicht als Stärkegefälle.

Es verallgemeinert eine Warnung für jedes Deep-Learning-System: Eingaben außerhalb der Verteilung können das Verhalten auf eine Weise umkehren, die Durchschnittstests nie sehen.

Übermenschliche Durchschnittsleistung kann fremdartiges Schlussfolgern verbergen: Ein System, das jeden Benchmark besteht, kann bei Eingaben außerhalb der Verteilung versagen; teste daher auf Worst-Case-Verhalten, nicht auf Durchschnittswerte.

Die Autorinnen und Autoren des Papers rahmten das Ergebnis als Argument für bessere automatisierte Tests von KI-Systemen gegen Worst-Case-Versagensmodi ein, mit Anwendungen über Spiele hinaus – so könnte etwa ein selbstfahrendes Auto auf ähnliche Weise durch Szenarien außerhalb seines Trainingsdatensatzes getäuscht werden. Gleave merkte an, dass die aufgedeckte Strategie von KataGo „wahrscheinlich“ einer von vielen solchen blinden Flecken sei.