AlphaGo Zero lernte, Go auf übermenschlichem Niveau ohne menschliche Partien zu spielen

AlphaGo hatte bereits einen Weltmeister im Go besiegt, stützte sich jedoch auf eine menschliche Partiendatenbank und handgefertigte Domänenmerkmale. Dieses geliehene Wissen setzte dem Programm eine Obergrenze für seine Stärke, und die Beschaffung besserer menschlicher Daten war langsam und teuer.

Das AlphaGo-Zero-Team entfernte die menschliche Quelle vollständig. Das Netzwerk beginnt, nichts außer den Spielregeln zu kennen; es spielt gegen sich selbst, und das Netzwerk lernt vorherzusagen, welchen Zug es machen würde und wer gewinnen wird. Diese Vorhersage verbessert die Suche, und eine stärkere Suche ermöglicht ein stärkeres Selbstspiel.

Nichts außerhalb des Spiels wird zugelassen. Das System ist sein eigener Lehrplan und sein eigener Bewerter und steigert seine Stärke Iteration für Iteration, ohne dass ihm jemals ein Expertenzug gezeigt wird.

Ausgehend von diesem leeren Zustand besiegte es das ursprüngliche, einen Champion besiegende AlphaGo mit 100 zu null Spielen – ein Ergebnis, das den Wert einer sauberen, selbst generierten Trainingsschleife gegenüber geliehenen Daten zeigte.

Lass den Agenten sein eigener Lehrer sein

Selbstspiel erzeugt eine unbegrenzte Versorgung an Partien, die genau auf die aktuelle Stärke des Agenten zugeschnitten sind, sodass der Lehrplan nie zu leicht oder zu schwer wird.

Das Entfernen menschlicher Partien entfernt das Rauschen und die Obergrenze menschlichen Spiels, sodass der Agent das Niveau der Personen übertreffen kann, die die Trainingsdaten erstellt haben.

Jede Verbesserung im Netzwerk macht die Suche besser, und eine bessere Suche erzeugt stärkere Gegner, sodass sich die Gewinne in einer positiven Schleife verstärken.

Da die Belohnung nur das Gewinnen der Partie ist, ist das Signal sauber und automatisch und benötigt keine Kennzeichnung.

Das beste Trainingssignal ist oft dasjenige, das man nach Belieben erzeugen kann – wenn man die Regeln definieren kann, liefert Selbstspiel unendliche, verteilungskonforme Daten kostenlos.

Dieselbe Selbstspiel-Idee wurde auf verschiedene Spiele verallgemeinert und ist heute ein Baustein des modernen bestärkenden Lernens, der die Tür zu Agenten öffnet, die Menschen in Bereichen besiegen, in denen keine guten Experten-Daten vorliegen. DeepMind wandte das Tabula-rasa-Lernen anschließend auf Schach, Shogi und andere Spiele an, und die Schleife „aus den eigenen Rollouts lernen“ wurde in dem Bereich zum Standard.