AlphaGo Zeroは人間の対局ゼロから囲碁を超人的に打てるようになった

AlphaGoはすでに囲碁で世界チャンピオンを破っていたが、人間の対局データベースと手作業で作られたドメイン特徴量に依存していた。その借り物の知識はプログラムが到達できる強さの上限を定めてしまい、より良い人間のデータを集めるのは遅く費用もかかった。

AlphaGo Zeroのチームは人間由来の源泉を完全に取り除いた。ネットワークは盤上のルール以外何も知らない状態から始まり、自分自身と対局し、ネットワークは自分がどの手を打つかとどちらが勝つかを予測することを学ぶ。その予測が探索を改善し、より強い探索がより強い自己対局を生む。

ゲームの外にあるものは一切入れない。システムはそれ自身がカリキュラムであり採点者であり、エキスパートの手を一度も見せられることなく、反復のたびに強さを複利で積み上げていく。

その白紙の状態から始めて、それは元の、チャンピオンを破ったAlphaGoに100対0で勝利した——この結果は、借り物のデータよりもクリーンで自己生成された訓練ループの価値を示した。

エージェントをそれ自身の教師にせよ

自己対局はエージェントの現在の強さに正確に合致した対局を無限に供給するので、カリキュラムが易しすぎることも難しすぎることもない。

人間の対局を取り除くことはノイズと人間のプレーの上限を取り除き、エージェントが訓練データを書いた人々のレベルを超えることを可能にする。

ネットワークの各改善が探索をより良くし、より良い探索がより強い相手を生み出すので、利得は正のループで複利になる。

報酬は単にゲームに勝つことだけなので、信号はクリーンで自動的であり、ラベリングを必要としない。

最良の訓練信号はしばしば自分で自由に生成できるものである——ルールを定義できれば、自己対局は無限の、分布に沿ったデータを無償で与えてくれる。

同じ自己対局のアイデアはゲームを越えて一般化し、今では現代の強化学習の構成要素となっており、優れたエキスパートデータが存在しない領域で人間を打ち負かすエージェントへの扉を開いた。DeepMindはその後、タブラ・ラサ学習をチェス、将棋、その他のゲームに適用し、「自分のロールアウトから学ぶ」ループはこの分野の標準となった。