Los agentes de ML de autoaprendizaje de Google Stadia expusieron y corrigieron el desequilibrio de un juego de cartas en días

Equilibrar un juego multijugador en línea normalmente implica un ciclo lento: someterlo a pruebas de estrés mediante miles de sesiones de juego con probadores humanos, incorporar los comentarios, rediseñar y repetir hasta que probadores y diseñadores queden satisfechos. Los ingenieros de Google Stadia calificaron el proceso no solo de lento, sino también de imperfecto: cuantos más roles, habilidades y mecánicas interconectadas tiene un juego, más fácil es que se cuelen fallos sutiles.

Su respuesta fue entrenar modelos de aprendizaje automático para que hicieran de probadores. En Chimera, un prototipo de juego de cartas digital construido deliberadamente con un gran espacio de estados e información imperfecta para que una IA programada a mano resultara difícil de escribir, entrenaron una red convolucional para predecir la probabilidad de victoria a partir de una codificación del tablero como imagen. El agente empezó con movimientos aleatorios y luego jugó contra sí mismo, y cada iteración mejoró la calidad de los datos y la fuerza del juego.

Se ejecutaron millones de partidas simuladas, muy por encima de lo que podían producir los probadores humanos. Los datos revelaron lo que las sesiones habían pasado por alto: la baraja Evasion Link Gen vencía a la baraja Damage-Heal el 60 % de las veces, la evolución de quimeras era más fuerte de lo que creían los diseñadores pero ocurría menos de lo previsto, y la criatura T-Rex estaba demasiado poderosa: el agente la jugaba independientemente de las penalizaciones por biomas incorrectos o superpoblados. Los diseñadores redujeron el coste de energía de evolucionar de 3 a 1 y duplicaron el tiempo de recarga del T-Rex, pero la proporción de victorias se mantuvo en 60/40.

Una segunda revisión de los registros del juego reveló que las partidas seguían siendo demasiado superficiales: se aumentaron la salud inicial y la curación para alargar las partidas, se incrementaron las penalizaciones por colocación de biomas y se redujo la diferencia entre las criaturas más fuertes y las más débiles. En un millón de partidas finales, Evasion Link Gen bajó del 59,1 % al 49,8 % de victorias y Damage-Heal subió del 40,9 % al 50,2 %, mientras que el promedio de evoluciones por partida aumentó de 1,54 a 2,16 y de 0,86 a 1,76. El equipo informó que había encontrado y corregido los desequilibrios en días, cuando lo normal habían sido meses de pruebas de juego.

Los agentes de ML de autoaprendizaje prueban el juego a una escala que los humanos no pueden igualar

Millones de partidas simuladas convierten el equilibrio en estadística: una división 60/40 entre barajas aparece en los datos agregados en lugar de sobrevivir como una corazonada de unas pocas docenas de sesiones.

El autoaprendizaje arranca sin reglas programadas a mano: el juego aleatorio inicia el ciclo, cada generación mejora sus propios datos y una CNN sencilla sobre estados en imagen aprende un juego demasiado complejo para la IA tradicional.

El agente demuestra en lugar de informar: siempre jugaba el T-Rex demasiado poderoso pese a las penalizaciones, lo que hacía innegable y accionable un punto ciego de los diseñadores.

La iteración barata lo es todo: los cambios de reglas se vuelven a probar en un millón de partidas en días, y el mismo modelo pequeño se ejecuta en una CPU dentro del cliente para mostrar la probabilidad de victoria en vivo.

Cuando un ciclo de calidad depende de pruebas humanas lentas, conviene construir un usuario sintético barato capaz de ejecutar millones de ensayos y luego ajustar las reglas según los patrones que revele; meses de pruebas se reducen a días.

El trabajo de equilibrio concluyó con las dos barajas casi igualadas a lo largo de un millón de partidas simuladas, y los ingenieros afirmaron que el ciclo de identificar y corregir se completó en días, cuando lo habitual habían sido meses de pruebas de juego. Añadieron que una red neuronal sencilla alcanzó un nivel de juego alto contra humanos y contra la IA tradicional de juegos, y que los mismos agentes podrían más adelante entrenar a nuevos jugadores o sacar a la luz estrategias que los diseñadores no habían imaginado. El propio artículo era el argumento del equipo de que el ML pertenece al ciclo de desarrollo de juegos, no solo al interior del juego.