알파고 제로는 인간 기보 없이 독학으로 바둑을 초인적으로 배웠다

알파고는 이미 바둑 세계 챔피언을 이겼지만, 인간 기보 데이터베이스와 수작업으로 만든 도메인 특징에 의존하고 있었다. 그렇게 빌려온 지식은 프로그램이 도달할 수 있는 강함의 상한을 정했고, 더 나은 인간 데이터를 모으는 일은 느리고 비쌌다.

알파고 제로 팀은 인간이라는 원천을 완전히 제거했다. 신경망은 바둑판 규칙 외에는 아무것도 모르는 상태에서 시작하고, 스스로와 대국하며, 신경망은 자신이 둘 수와 누가 이길지를 예측하는 법을 배운다. 그 예측이 탐색을 개선하고, 더 강한 탐색이 더 강한 자기 대국을 만든다.

게임 외부의 어떤 것도 허용되지 않는다. 이 시스템은 스스로의 교육 과정이자 스스로의 채점자이며, 전문가의 수를 단 한 번도 보여받지 않은 채 반복할수록 강함을 복리로 쌓아간다.

그 백지 상태에서 시작해 원래의 챔피언을 꺾었던 알파고를 100대 0으로 이겼다 — 이는 빌려온 데이터보다 깨끗하고 스스로 생성한 훈련 루프의 가치를 보여준 결과였다.

에이전트가 스스로의 교사가 되게 하라

자기 대국은 에이전트의 현재 강함에 정확히 맞춰진 게임을 무한히 공급하므로, 교육 과정이 너무 쉬워지거나 너무 어려워지지 않는다.

인간 기보를 제거하면 인간 플레이의 잡음과 상한이 사라져, 에이전트가 훈련 데이터를 작성한 사람들의 수준을 넘어설 수 있다.

신경망의 각 개선은 탐색을 더 낫게 만들고, 더 나은 탐색은 더 강한 상대를 생성하므로 이득이 선순환으로 복리처럼 쌓인다.

보상이 단지 게임에서 이기는 것이기 때문에 신호는 깨끗하고 자동적이며 라벨링이 필요 없다.

최고의 훈련 신호는 종종 원할 때 생성할 수 있는 신호다 — 규칙을 정의할 수 있다면, 자기 대국은 무한하고 분포에 맞는 데이터를 공짜로 준다.

같은 자기 대국 아이디어는 여러 게임에 걸쳐 일반화되었고 이제 현대 강화 학습의 구성 요소이며, 좋은 전문가 데이터가 없는 영역에서 인간을 이기는 에이전트로 가는 문을 열었다. 딥마인드는 이어서 체스, 쇼기 및 다른 게임들에 백지 학습을 적용했고, '자신의 롤아웃에서 배우는' 루프는 이 분야의 표준이 되었다.