El aprendizaje por refuerzo aprende tomando acciones y observando resultados, pero en un sitio minorista enorme una acción es un cliente que esperas satisfacer y un mal experimento es una venta que pierdes. Muestrear suficientes ensayos reales para entrenar una política es costoso y arriesgado.
El equipo de Taobao construyó Virtual Taobao, un simulador aprendido de cientos de millones de registros genuinos de clientes, usando entrenamiento generativo adversarial para igualar el comportamiento real e imitación multiagente para capturar cómo responden los compradores. Las políticas para la búsqueda de productos se entrenaron entonces dentro de esta réplica sin costo en vivo.
Debido a que el simulador capturó el comportamiento real del mercado, la política entrenada se transfirió al sitio en vivo y superó al enfoque supervisado al que reemplazó, convirtiendo un problema de aprendizaje costoso en el mundo real en uno barato resuelto fuera de línea.
Entrena en una réplica fiel para no apostar nunca con los usuarios
La simulación permite que el RL tome acciones que serían demasiado costosas de tomar en vivo
La réplica se aprende de registros reales, por lo que el comportamiento se transfiere
Una restricción de norma de acción evita que la política se sobreajuste al mundo falso
Solo las acciones imaginadas más fuertes se prueban alguna vez con usuarios reales
Cuando un sistema mejora por ensayo y error, los ensayos son el recurso escaso; construye un sustituto barato del costo real y gasta tu presupuesto en vivo solo en lo que la réplica diga que funcionará.
Virtual Taobao se convirtió en una referencia para usar simuladores aprendidos para entrenar la toma de decisiones en entornos en línea de alto costo, influyendo en trabajos posteriores sobre RL para búsqueda, recomendación y fijación de precios donde la experimentación en vivo es costosa.
CONSULTA LAS PRUEBAS