KataGo, la IA de Go de código abierto que vence a los mejores jugadores humanos, aprendió el juego a partir de millones de partidas contra sí misma. En noviembre de 2022, un equipo de investigadores de IA, entre ellos Adam Gleave, entonces doctorando en UC Berkeley, publicó un método para derrotarla: una política adversaria, construida a partir de una red neuronal más una búsqueda de árbol de Montecarlo, que explota los puntos ciegos que dejó ese entrenamiento.
Durante una partida, explica Gleave, el adversario primero reclama una pequeña esquina del tablero y deja que KataGo tome el resto, sembrando su territorio con piedras fáciles de capturar. «Esto engaña a KataGo haciéndole creer que ya ganó», dice, pero el territorio de la esquina inferior izquierda en realidad no contribuye a su puntuación, porque la presencia de piedras negras significa que no está completamente asegurado.
Convencida de que va ganando, KataGo juega un pase; dos pases consecutivos terminan la partida, y el recuento solo cuenta el territorio de la esquina del adversario. El truco funciona a pesar de que el adversario es tan débil que los aficionados humanos pueden vencerlo con relativa facilidad; su único propósito es atacar una vulnerabilidad no prevista.
Gleave dice que el resultado muestra que los sistemas de IA que parecen rendir a nivel humano «a menudo lo hacen de una manera muy ajena, y por eso pueden fallar de formas sorprendentes para los humanos»; entretenido en el Go, pero una advertencia para los sistemas críticos para la seguridad, que subraya la necesidad de pruebas automatizadas que encuentren los modos de fallo en el peor caso en lugar del rendimiento en el caso medio.
No juegues mejor que la máquina: engáñala. Conserva una esquina, deja que la IA tome territorio «ganador» pero no asegurado, y pasa antes de tiempo, terminando la partida con el engaño.
Derrota a una IA sobrehumana en juegos no jugando mejor al Go, sino explotando cómo la IA puntúa la partida.
El mecanismo ganador es un engaño: convencer al oponente de que ya ha ganado y luego terminar la partida mientras su territorio aún no está asegurado.
El adversario es malo en el Go por diseño —los aficionados lo vencen—, lo que aísla el resultado como un hallazgo de vulnerabilidad, no como una diferencia de fuerza.
Generaliza una advertencia para todo sistema de aprendizaje profundo: las entradas fuera de la distribución pueden invertir el comportamiento de formas que las pruebas de caso medio nunca ven.
Un rendimiento medio sobrehumano puede ocultar un razonamiento ajeno: un sistema que supera todas las pruebas de referencia puede fallar con entradas fuera de la distribución, así que hay que probar los comportamientos en el peor caso, no las puntuaciones en el caso medio.
Los autores del artículo enmarcaron el resultado como un argumento a favor de mejores pruebas automatizadas de los sistemas de IA frente a los modos de fallo en el peor caso, con aplicaciones más allá de los juegos; un coche autónomo, por ejemplo, podría igualmente ser engañado por escenarios fuera de su conjunto de entrenamiento. Gleave señaló que la estrategia expuesta de KataGo es «probablemente» uno de muchos puntos ciegos de ese tipo.
CONSULTA LAS PRUEBAS
Las fuentes
- New Go-playing trick defeats world-class Go AI—but loses to human amateurs Ars Technica · arstechnica.com ·