O aprendizado por reforço aprende agindo e observando resultados, mas em um site de varejo enorme uma ação é um cliente que você espera satisfazer e um experimento ruim é uma venda que você perde. Coletar tentativas reais suficientes para treinar uma política é caro e arriscado.
A equipe do Taobao construiu o Virtual Taobao, um simulador aprendido a partir de centenas de milhões de registros genuínos de clientes, usando treinamento adversarial generativo para corresponder ao comportamento real e imitação multiagente para capturar como os compradores respondem. Políticas para busca de produtos foram então treinadas dentro dessa réplica sem custo em usuários reais.
Como o simulador capturou o comportamento real do mercado, a política treinada transferiu-se para o site em produção e superou a abordagem supervisionada que substituiu, transformando um problema caro de aprendizado no mundo real em um problema barato resolvido offline.
Treine em uma réplica fiel para nunca apostar nos usuários
A simulação permite que o RL tome ações que seriam caras demais para tomar em produção
A réplica é aprendida a partir de registros reais, então o comportamento se transfere
Uma restrição de norma de ação impede que a política se ajuste demais ao mundo falso
Apenas as ações imaginadas mais fortes são testadas em usuários reais
Quando um sistema melhora por tentativa e erro, as tentativas são o recurso escasso; construa um substituto barato para o custo real e gaste seu orçamento em produção apenas no que a réplica disser que funcionará.
O Virtual Taobao tornou-se uma referência para o uso de simuladores aprendidos no treinamento de tomada de decisão em ambientes online de alto custo, influenciando trabalhos posteriores sobre RL para busca, recomendação e precificação onde a experimentação em produção é cara.
CONFIRA AS EVIDÊNCIAS