AlphaGo Zero aprendió a jugar al Go a nivel sobrehumano desde cero partidas humanas

AlphaGo ya había vencido a un campeón mundial de Go, pero se apoyaba en una base de datos de partidas humanas y en características del dominio diseñadas a mano. Ese conocimiento prestado ponía un techo a la fuerza que el programa podía alcanzar, y reunir mejores datos humanos era lento y costoso.

El equipo de AlphaGo Zero eliminó por completo la fuente humana. La red empieza sin saber nada más allá de las reglas del tablero; juega contra sí misma, y la red aprende a predecir qué movimiento haría y quién ganaría. Esa predicción mejora la búsqueda, y una búsqueda más fuerte produce un auto-juego más fuerte.

No se permite nada externo al juego. El sistema es su propio plan de estudios y su propio evaluador, acumulando fuerza iteración tras iteración sin que jamás se le muestre un movimiento de experto.

Partiendo de esa hoja en blanco venció al AlphaGo original, el que había derrotado al campeón, por 100 partidas a cero — un resultado que mostró el valor de un bucle de entrenamiento limpio y autogenerado frente a los datos prestados.

Deja que el agente sea su propio maestro

El auto-juego produce un suministro ilimitado de partidas ajustadas exactamente a la fuerza actual del agente, de modo que el plan de estudios nunca resulta demasiado fácil ni demasiado difícil.

Eliminar las partidas humanas elimina el ruido y el techo del juego humano, permitiendo al agente superar el nivel de las personas que escribieron los datos de entrenamiento.

Cada mejora en la red hace mejor la búsqueda, y una mejor búsqueda genera oponentes más fuertes, de modo que las ganancias se acumulan en un bucle positivo.

Como la recompensa es simplemente ganar la partida, la señal es limpia y automática y no necesita etiquetado.

La mejor señal de entrenamiento suele ser la que uno puede generar a voluntad: si puedes definir las reglas, el auto-juego te da datos infinitos y dentro de la distribución de forma gratuita.

La misma idea de auto-juego se generalizó entre juegos y hoy es un componente básico del aprendizaje por refuerzo moderno, abriendo la puerta a agentes que superan a los humanos en dominios sin buenos datos de expertos. DeepMind pasó después a aplicar el aprendizaje tabula rasa al ajedrez, al shogi y a otros juegos, y el bucle de 'aprender de tus propias rollouts' se volvió estándar en el campo.