一個業餘棋手也能擊敗的圍棋程式找到了KataGo的盲點——並擊敗了超人AI

KataGo是開源的圍棋AI，能擊敗頂尖人類棋手，它透過與自己對弈數百萬局來學習圍棋。2022年11月，一個AI研究團隊（包括當時在加州大學柏克萊分校攻讀博士學位的Adam Gleave）發表了一種擊敗它的方法：一種由神經網路加上蒙地卡羅樹搜尋構建的對抗策略，利用該訓練方式留下的盲點。

Gleave解釋，在對局中，對抗程式首先佔據棋盤的一小角，讓KataGo拿下其餘部分，並在自己的地盤中埋下容易被吃掉的棋子。「這會騙過KataGo，讓它以為自己已經贏了，」他說——但左下角的地盤實際上並不計入它的分數，因為黑子的存在意味著該地盤並未完全鞏固。

KataGo確信自己正在獲勝，於是選擇停一手；連續兩次停一手便結束對局，而計分只算對抗程式那一角的地盤。這個把戲之所以奏效，儘管對抗程式弱到人類業餘棋手都能相對輕鬆地擊敗它——它唯一的用途就是攻擊一個未被預料到的弱點。

Gleave表示，這個結果顯示，看似達到人類水準的AI系統「往往是以一種非常異於人類的方式做到這一點，因此可能以令人類意想不到的方式失敗」——在圍棋中這很有趣，但對安全關鍵系統而言是一記警鐘，凸顯了需要自動化測試來找出最壞情況下的失效模式，而非平均情況下的表現。

不要比機器下得更好——要誤導它：守住一個角，讓AI拿下「獲勝」但未鞏固的地盤，它便會過早停一手，以這場虛張聲勢結束對局。

它擊敗一個超人棋力的AI，並非靠下更好的圍棋，而是靠利用AI計算棋局分數的方式。

獲勝機制是一場虛張聲勢：讓對手相信自己已經贏了，然後在其地盤仍未鞏固時結束對局。

這個對抗程式在設計上就棋力很差——業餘棋手都能擊敗它——這使結果被單獨歸因為發現弱點，而非實力差距。

它推廣出一項對每個深度學習系統的警告：偏離分佈的輸入可能以平均情況測試從未見過的方式翻轉行為。

超人的平均表現可能掩蓋異於人類的推理：一個通過所有基準測試的系統，可能在偏離分佈的輸入上失敗，因此應測試最壞情況下的行為，而非平均情況下的分數。

論文作者將此結果定位為主張對AI系統進行更好的自動化測試、以對抗最壞情況失效模式的論據，其應用範圍超越遊戲——例如，一輛自駕車同樣可能被其訓練集之外的場景所欺騙。Gleave指出，KataGo被揭露的策略「很可能」只是眾多此類盲點之一。