Agentes de ML auto-jogo do Google Stadia expuseram e corrigiram o desequilíbrio de um jogo de cartas em dias

Balancear um jogo multijogador online normalmente significa um ciclo lento: testar sob estresse por meio de milhares de sessões de playtest humano, incorporar feedback, redesenhar, repetir até que testadores e designers fiquem satisfeitos. Os engenheiros do Google Stadia chamaram o processo não apenas de demorado, mas de imperfeito — quanto mais papéis, habilidades e mecânicas interligadas um jogo tem, mais fácil é que falhas sutis passem despercebidas.

A resposta deles foi treinar modelos de aprendizado de máquina para atuar como playtesters. Em Chimera, um protótipo digital de jogo de cartas deliberadamente construído com um grande espaço de estados e informação imperfeita, de modo que uma IA feita à mão seria difícil de escrever, eles treinaram uma rede convolucional para prever a probabilidade de vitória a partir de uma codificação em imagem do tabuleiro. O agente começou com movimentos aleatórios e então jogou contra si mesmo, com cada iteração melhorando a qualidade dos dados e a força do jogo.

Partidas simuladas chegaram aos milhões, muito além do que testadores humanos poderiam produzir. Os dados expuseram o que as sessões haviam deixado passar: o deck Evasion Link Gen vencia o deck Damage-Heal em 60% das vezes, a evolução de quimera era mais forte do que os designers pensavam, mas acontecia menos do que o pretendido, e a criatura T-Rex estava overpowered — o agente a jogava independentemente das penalidades por biomas errados ou superlotados. Os designers reduziram o custo de energia para evoluir de 3 para 1 e dobraram o cooldown do T-Rex, mas a proporção de vitórias permaneceu em 60/40.

Uma segunda passagem pelos logs do jogo constatou que as partidas ainda eram rasas demais: a saúde inicial e a cura foram aumentadas para alongar os jogos, as penalidades de posicionamento de bioma foram aumentadas, e a diferença entre as criaturas mais fortes e mais fracas foi reduzida. Em um milhão de partidas finais, o Evasion Link Gen caiu de 59,1% para 49,8% de vitórias e o Damage-Heal subiu de 40,9% para 50,2%, enquanto a média de evoluções por partida subiu de 1,54 para 2,16 e de 0,86 para 1,76. A equipe relatou ter encontrado e corrigido os desequilíbrios em dias, quando meses de playtest haviam sido o normal.

Agentes de ML de auto-jogo fazem playtest em uma escala que humanos não conseguem igualar

Milhões de partidas simuladas transformam o balanceamento em estatística: uma divisão de 60/40 entre decks aparece nos dados agregados em vez de sobreviver como um palpite de algumas dezenas de sessões.

O auto-jogo se inicializa sem regras feitas à mão: o jogo aleatório inicia o ciclo, cada geração melhora seus próprios dados, e uma CNN simples sobre estados em imagem aprende um jogo complexo demais para a IA tradicional.

O agente demonstra em vez de relatar: ele sempre jogava o T-Rex overpowered apesar das penalidades, tornando um ponto cego dos designers inegável e acionável.

A iteração barata é o ponto central: mudanças de regra são retestadas em um milhão de partidas em dias, e o mesmo modelo pequeno roda em uma CPU dentro do cliente para mostrar a probabilidade de vitória ao vivo.

Quando um ciclo de qualidade depende de testes humanos lentos, construa um usuário sintético barato que possa rodar milhões de tentativas e então ajuste as regras com base nos padrões que ele expõe; meses de teste se reduzem a dias.

O trabalho de balanceamento terminou com os dois decks quase empatados ao longo de um milhão de partidas simuladas, e os engenheiros disseram que o ciclo de identificar e corrigir levou dias, quando meses de playtest haviam sido a norma. Uma rede neural simples, acrescentaram, alcançou jogo de alto nível contra humanos e contra a IA tradicional de jogos, e os mesmos agentes poderiam posteriormente treinar novos jogadores ou revelar estratégias que os designers não haviam imaginado. O próprio artigo era o argumento da equipe de que o ML pertence ao ciclo de desenvolvimento de jogos, não apenas dentro do jogo.