一个业余选手能击败的围棋程序找到了KataGo的盲点——并击败了超人AI

KataGo是击败顶尖人类棋手的开源围棋AI，它通过数百万次自我对弈学会了围棋。2022年11月，包括当时在加州大学伯克利分校攻读博士学位的Adam Gleave在内的一组AI研究人员发表了一种击败它的方法：一种由神经网络加蒙特卡洛树搜索构建的对抗策略，利用这种训练留下的盲点。

Gleave解释说，在对局中，对抗方首先占据棋盘的一个小角，让KataGo拿下其余部分，并在自己的地盘里埋下容易被吃掉的棋子。“这会让KataGo误以为自己已经赢了，”他说——但左下角的地盘实际上并不计入它的得分，因为黑棋的存在意味着这块地盘并未完全稳固。

确信自己正在获胜的KataGo选择停一手；连续两次停一手会结束对局，而计分只算对抗方角上的地盘。这个把戏之所以奏效，尽管对抗方弱到人类业余选手都能相对轻松地击败它——它唯一的目的就是攻击一个未被预料到的漏洞。

Gleave说，这一结果表明，看似达到人类水平的AI系统“往往是以一种非常异类的方式做到这一点，因此可能以令人类惊讶的方式失败”——在围棋中这很有趣，但对安全关键系统而言是一个警告，凸显了需要进行自动化测试，以发现最坏情况下的失败模式，而非平均情况下的表现。

不要比机器下得更好——要误导它：守住一个角，让AI拿下“获胜”但未稳固的地盘，它就会提前停一手，以虚张声势结束对局。

它击败一个超人水平的对弈AI，不是靠下更好的围棋，而是靠利用AI对棋局的计分方式。

获胜机制是一种虚张声势：让对手相信自己已经赢了，然后在其地盘仍未稳固时结束对局。

这个对抗方在围棋上被刻意设计得很差——业余选手都能击败它——从而将结果孤立为一个漏洞发现，而非实力差距。

它为每一个深度学习系统推广出一个警告：分布外输入可能以平均情况测试永远看不到的方式翻转行为。

超人水平的平均表现可能掩盖异类的推理：一个通过所有基准测试的系统可能在分布外输入上失败，因此要测试最坏情况下的行为，而非平均情况下的得分。

论文作者将这一结果作为论据，主张对AI系统进行更好的自动化测试，以应对最坏情况下的失败模式，其应用范围超出游戏——例如，一辆自动驾驶汽车同样可能被其训练集之外的场景所欺骗。Gleave指出，KataGo暴露出的策略“很可能”只是众多此类盲点之一。