AlphaGo Zero a appris à jouer au Go à un niveau surhumain à partir de zéro partie humaine

AlphaGo avait déjà battu un champion du monde au Go, mais il s'appuyait sur une base de données de parties humaines et sur des caractéristiques de domaine conçues à la main. Ces connaissances empruntées plafonnaient la force que le programme pouvait atteindre, et la collecte de meilleures données humaines était lente et coûteuse.

L'équipe d'AlphaGo Zero a entièrement supprimé la source humaine. Le réseau commence sans rien connaître d'autre que les règles du plateau ; il joue contre lui-même, et le réseau apprend à prédire quel coup il jouerait et qui gagnerait. Cette prédiction améliore la recherche, et une recherche plus forte produit un auto-jeu plus fort.

Rien d'extérieur au jeu n'est autorisé. Le système est son propre programme et son propre évaluateur, accumulant de la force itération après itération sans qu'un seul coup d'expert ne lui soit montré.

Partant de cette page blanche, il a battu l'AlphaGo original, vainqueur du champion, 100 parties à zéro — un résultat qui a montré la valeur d'une boucle d'entraînement propre et auto-générée par rapport à des données empruntées.

Laisser l'agent être son propre professeur

L'auto-jeu produit une offre illimitée de parties exactement adaptées à la force actuelle de l'agent, de sorte que le programme ne devient jamais trop facile ni trop difficile.

Supprimer les parties humaines élimine le bruit et le plafond du jeu humain, permettant à l'agent de dépasser le niveau des personnes qui ont écrit les données d'entraînement.

Chaque amélioration du réseau rend la recherche meilleure, et une meilleure recherche génère des adversaires plus forts, de sorte que les gains se cumulent dans une boucle positive.

Comme la récompense est simplement de gagner la partie, le signal est propre et automatique et ne nécessite aucun étiquetage.

Le meilleur signal d'entraînement est souvent celui que l'on peut générer à volonté — si l'on peut définir les règles, l'auto-jeu fournit gratuitement des données infinies et sur la distribution.

La même idée d'auto-jeu s'est généralisée à travers les jeux et constitue aujourd'hui un élément de base de l'apprentissage par renforcement moderne, ouvrant la voie à des agents qui battent les humains dans des domaines sans bonnes données d'expert. DeepMind a ensuite appliqué l'apprentissage tabula rasa aux échecs, au shogi et à d'autres jeux, et la boucle « apprendre à partir de ses propres rollouts » est devenue standard dans le domaine.