AlphaGo Zero 從零人類棋局自學達到超人水準的圍棋棋力

AlphaGo 早已擊敗過一位圍棋世界冠軍，但它依賴人類棋局資料庫與人工設計的領域特徵。這種借來的人類知識限制了程式能達到的強度上限，而蒐集更好的人類資料既緩慢又昂貴。

AlphaGo Zero 團隊完全移除了人類來源。網路一開始除了棋盤規則之外一無所知；它與自己對弈，網路學會預測自己會下哪一步以及誰會獲勝。這項預測改善了搜尋，而更強的搜尋又帶來更強的自我對弈。

棋局之外的任何東西都不被允許進入。系統既是自己的課程，也是自己的評分者，在一次次迭代中複合成長，從未向它展示過任何專家棋步。

從這張白紙開始，它以 100 局全勝、零敗擊敗了原本曾擊敗冠軍的 AlphaGo——這個結果顯示，乾淨、自我生成的訓練迴圈比借用資料更有價值。

讓代理成為自己的老師

自我對弈產生無限供應的棋局，且與代理目前的強度精確匹配，因此課程永遠不會太簡單或太困難。

移除人類棋局便移除了雜訊與人類棋力的上限，讓代理能超越撰寫訓練資料者的水準。

網路的每一次進步都讓搜尋更好，而更好的搜尋又產生更強的對手，因此增益在正向迴圈中複合。

由於獎勵只是贏得棋局，訊號乾淨且自動，無需標註。

最佳的訓練訊號往往是你隨時能自行生成的那一個——如果你能定義規則，自我對弈就能免費給你無限、同分布的資料。

同樣的自我對弈概念推廣到了各種遊戲，如今已是現代強化學習的基石，為在缺乏良好專家資料的領域中擊敗人類的代理開了大門。DeepMind 隨後將白紙學習（tabula rasa learning）應用於西洋棋、將棋與其他遊戲，「從自己的推演中學習」的迴圈也成為該領域的標準做法。