Um programa de Go que amadores conseguem vencer encontrou o ponto cego do KataGo — e derrotou a IA sobre-humana

O KataGo, a IA de Go de código aberto que vence os melhores jogadores humanos, aprendeu o jogo a partir de milhões de partidas contra si mesma. Em novembro de 2022, uma equipe de pesquisadores de IA, incluindo Adam Gleave, então doutorando na UC Berkeley, publicou um método para derrotá-la: uma política adversária, construída a partir de uma rede neural mais uma busca em árvore Monte-Carlo, que explora pontos cegos deixados por esse treinamento.

Durante uma partida, explica Gleave, o adversário primeiro reivindica um pequeno canto do tabuleiro e deixa o KataGo tomar o resto, semeando seu território com pedras fáceis de capturar. "Isso engana o KataGo, fazendo-o pensar que já venceu", diz ele — mas o território no canto inferior esquerdo na verdade não contribui para sua pontuação, porque a presença de pedras pretas significa que ele não está totalmente assegurado.

Convencido de que está vencendo, o KataGo joga um passe; dois passes consecutivos encerram a partida, e a contagem considera apenas o território do canto do adversário. O truque funciona apesar de o adversário ser tão fraco que amadores humanos conseguem vencê-lo com relativa facilidade — seu único propósito é atacar uma vulnerabilidade não prevista.

Gleave diz que o resultado mostra que sistemas de IA que parecem ter desempenho em nível humano "muitas vezes o fazem de uma maneira muito alienígena, e por isso podem falhar de formas surpreendentes para os humanos" — divertido no Go, mas um alerta para sistemas críticos de segurança, ressaltando a necessidade de testes automatizados que encontrem modos de falha no pior caso, em vez de desempenho no caso médio.

Não jogue melhor que a máquina — engane-a: mantenha um canto, deixe a IA tomar território "vencedor" mas não assegurado, e ela passa cedo, encerrando a partida no blefe.

Ela derrota uma IA de jogos sobre-humana não jogando melhor Go, mas explorando como a IA pontua a partida.

O mecanismo vencedor é um blefe: convencer o oponente de que ele já venceu e então encerrar a partida enquanto seu território ainda não está assegurado.

O adversário é ruim no Go por design — amadores o vencem —, isolando o resultado como uma descoberta de vulnerabilidade, não como uma diferença de força.

Isso generaliza um alerta para todo sistema de aprendizado profundo: entradas fora da distribuição podem inverter o comportamento de formas que os testes no caso médio nunca veem.

Desempenho médio sobre-humano pode esconder um raciocínio alienígena: um sistema que passa em todos os benchmarks pode falhar em entradas fora da distribuição, então teste comportamentos no pior caso, não pontuações no caso médio.

Os autores do artigo enquadraram o resultado como um argumento para melhores testes automatizados de sistemas de IA contra modos de falha no pior caso, com aplicações além dos jogos — um carro autônomo, por exemplo, poderia igualmente ser enganado por cenários fora de seu conjunto de treinamento. Gleave observou que a estratégia exposta do KataGo é "provavelmente" um entre muitos desses pontos cegos.