アマチュアが打ち負かせるGoプログラムがKataGoの盲点を発見——そして超人的AIを打ち負かした

トップの人間プレイヤーを打ち負かすオープンソースのGo AI、KataGoは、自分自身との数百万局の対局からこのゲームを学んだ。2022年11月、当時UCバークレーの博士課程候補生だったAdam Gleaveを含むAI研究者のチームは、それを打ち負かす手法を発表した。ニューラルネットワークとモンテカルロ木探索から構築された敵対的ポリシーで、その訓練が残した盲点を突くものだ。

試合中、Gleaveは説明する、敵対者はまず盤の小さな一角を主張し、KataGoに残りを取らせ、その陣地に捕獲しやすい石を仕込む。「これでKataGoは自分がすでに勝ったと思い込む」と彼は言う——しかし左下の陣地は実際にはそのスコアに寄与しない。黒石の存在により完全には確保されていないからだ。

自分が勝っていると確信したKataGoはパスを打つ。2回連続のパスでゲームは終了し、集計は敵対者の一角の陣地のみを数える。このトリックは、敵対者が人間のアマチュアでも比較的簡単に打ち負かせるほど弱いにもかかわらず機能する——その唯一の目的は、予期されていない脆弱性を攻撃することだ。

Gleaveは、この結果は人間レベルで性能を発揮するように見えるAIシステムが「しばしば非常に異質な方法でそうしており、それゆえ人間にとって驚くべき形で失敗しうる」ことを示していると述べる——Goでは愉快な話だが、安全上重要なシステムにとっては警告であり、平均的な性能ではなく最悪の失敗モードを見つける自動テストの必要性を強調している。

機械を打ち負かすのではなく、誤導せよ：一角を保持し、AIに「勝ち」ではあるが確保されていない陣地を取らせれば、AIは早期にパスし、ブラフでゲームを終わらせる。

それは超人的なゲームプレイAIを、より優れたGoを打つことによってではなく、AIがゲームをどのようにスコアリングするかを悪用することによって打ち負かす。

勝利のメカニズムはブラフである：相手にすでに勝ったと信じ込ませ、その陣地がまだ確保されていないうちにゲームを終わらせる。

敵対者は設計上Goが下手である——アマチュアがそれを打ち負かす——ことで、結果を強さの差ではなく脆弱性の発見として切り分けている。

それはすべての深層学習システムへの警告を一般化する：分布外の入力は、平均的なテストでは決して見えない形で挙動を反転させうる。

超人的な平均性能は異質な推論を隠しうる：すべてのベンチマークに合格するシステムでも、分布外の入力では失敗しうるため、平均的なスコアではなく最悪の挙動をテストすべきである。

論文の著者たちは、この結果を、ゲームを超えた応用を含め、最悪の失敗モードに対してAIシステムをより良く自動テストするための論拠として位置づけた——例えば自動運転車も同様に、訓練セット外のシナリオによって騙されうる。Gleaveは、KataGoで露呈した戦略は、そのような盲点の多くあるうちの「おそらく」一つにすぎない、と指摘した。