AlphaGo Zero aprendeu a jogar Go em nível sobre-humano a partir de zero partidas humanas

O AlphaGo já havia vencido um campeão mundial de Go, mas dependia de um banco de dados de partidas humanas e de características de domínio criadas manualmente. Esse conhecimento emprestado impunha um teto à força que o programa poderia atingir, e reunir dados humanos melhores era lento e caro.

A equipe do AlphaGo Zero removeu completamente a fonte humana. A rede começa sem saber nada além das regras do tabuleiro; ela joga contra si mesma, e a rede aprende a prever qual jogada faria e quem venceria. Essa previsão melhora a busca, e uma busca mais forte produz um auto-jogo mais forte.

Nada fora do jogo é permitido. O sistema é seu próprio currículo e seu próprio avaliador, acumulando força iteração após iteração sem que uma jogada de especialista jamais lhe seja mostrada.

Partindo dessa folha em branco, venceu o AlphaGo original, que derrotou o campeão, por 100 partidas a zero — um resultado que mostrou o valor de um ciclo de treinamento limpo e autogerado em vez de dados emprestados.

Deixe o agente ser seu próprio professor

O auto-jogo produz um suprimento ilimitado de partidas ajustadas exatamente à força atual do agente, de modo que o currículo nunca fica fácil ou difícil demais.

Remover as partidas humanas elimina o ruído e o teto do jogo humano, permitindo que o agente ultrapasse o nível das pessoas que escreveram os dados de treinamento.

Cada melhoria na rede torna a busca melhor, e uma busca melhor gera adversários mais fortes, de modo que os ganhos se acumulam em um ciclo positivo.

Como a recompensa é apenas vencer a partida, o sinal é limpo e automático e não precisa de rotulagem.

O melhor sinal de treinamento costuma ser aquele que você pode gerar à vontade — se você consegue definir as regras, o auto-jogo lhe dá dados infinitos e na distribuição, de graça.

A mesma ideia de auto-jogo se generalizou entre jogos e hoje é um bloco de construção do aprendizado por reforço moderno, abrindo a porta para agentes que vencem humanos em domínios sem bons dados de especialistas. A DeepMind passou a aplicar o aprendizado tabula rasa ao xadrez, ao shogi e a outros jogos, e o ciclo de 'aprender com suas próprias simulações' tornou-se padrão na área.