Un programme de Go que des amateurs peuvent battre a trouvé l'angle mort de KataGo — et battu l'IA surhumaine

KataGo, l'IA de Go open source qui bat les meilleurs joueurs humains, a appris le jeu à partir de millions de parties contre elle-même. En novembre 2022, une équipe de chercheurs en IA, dont Adam Gleave, alors doctorant à l'UC Berkeley, a publié une méthode pour la vaincre : une politique adverse, construite à partir d'un réseau de neurones et d'une recherche arborescente de Monte-Carlo, qui exploite les angles morts laissés par cet entraînement.

Pendant une partie, explique Gleave, l'adversaire revendique d'abord un petit coin du plateau et laisse KataGo prendre le reste, en parsemant son territoire de pierres faciles à capturer. « Cela amène KataGo à croire qu'elle a déjà gagné », dit-il — mais le territoire en bas à gauche ne contribue en réalité pas à son score, car la présence de pierres noires signifie qu'il n'est pas entièrement sécurisé.

Convaincue qu'elle gagne, KataGo joue un passe ; deux passes consécutives mettent fin à la partie, et le décompte ne compte que le territoire du coin de l'adversaire. L'astuce fonctionne bien que l'adversaire soit si faible que des amateurs humains peuvent le battre relativement facilement — son seul but est d'attaquer une vulnérabilité imprévue.

Gleave affirme que le résultat montre que les systèmes d'IA qui semblent se comporter au niveau humain « le font souvent d'une manière très étrangère, et peuvent donc échouer de façons surprenantes pour les humains » — divertissant au Go, mais un avertissement pour les systèmes critiques pour la sécurité, soulignant la nécessité de tests automatisés qui trouvent les modes de défaillance dans le pire des cas plutôt que la performance moyenne.

Ne pas surjouer la machine — la tromper : tenir un coin, laisser l'IA prendre un territoire « gagnant » mais non sécurisé, et elle passe prématurément, terminant la partie sur le bluff.

Il défait une IA de jeu surhumaine non pas en jouant mieux au Go, mais en exploitant la façon dont l'IA compte les points de la partie.

Le mécanisme gagnant est un bluff : convaincre l'adversaire qu'il a déjà gagné, puis terminer la partie alors que son territoire n'est pas encore sécurisé.

L'adversaire est mauvais au Go par conception — des amateurs le battent — ce qui isole le résultat comme une découverte de vulnérabilité, et non un écart de force.

Cela généralise un avertissement pour tout système d'apprentissage profond : des entrées hors distribution peuvent inverser le comportement d'une manière que les tests sur cas moyens ne voient jamais.

Une performance moyenne surhumaine peut masquer un raisonnement étranger : un système qui réussit tous les tests de référence peut échouer sur des entrées hors distribution ; il faut donc tester les comportements dans le pire des cas, et non les scores moyens.

Les auteurs de l'article ont présenté le résultat comme un argument en faveur de meilleurs tests automatisés des systèmes d'IA face aux modes de défaillance dans le pire des cas, avec des applications au-delà des jeux — une voiture autonome, par exemple, pourrait de même être trompée par des scénarios hors de son ensemble d'entraînement. Gleave a noté que la stratégie mise au jour de KataGo est « probablement » l'un de nombreux angles morts de ce type.