Reinforcement Learning lernt, indem es Aktionen ausführt und Ergebnisse beobachtet, aber auf einer riesigen Einzelhandelsseite ist eine Aktion ein Kunde, den man hofft zufriedenzustellen, und ein schlechtes Experiment ein Verkauf, den man verliert. Genügend echte Versuche zu sammeln, um eine Policy zu trainieren, ist teuer und riskant.
Das Taobao-Team baute Virtual Taobao, einen Simulator, der aus Hunderten Millionen echter Kundendatensätze gelernt wurde, wobei generatives adversariales Training eingesetzt wurde, um reales Verhalten nachzubilden, und Multi-Agenten-Imitation, um zu erfassen, wie Käufer reagieren. Policies für die Produktsuche wurden dann innerhalb dieser Nachbildung ohne laufende Kosten trainiert.
Weil der Simulator reales Marktverhalten erfasste, übertrug sich die trainierte Policy auf die Live-Seite und übertraf den überwachten Ansatz, den sie ersetzte, und verwandelte damit ein teures Lernproblem der realen Welt in ein günstiges Problem, das offline gelöst werden kann.
Trainiere in einer getreuen Nachbildung, damit du nie auf Nutzer wetten musst
Simulation erlaubt es RL, Aktionen auszuführen, die live zu kostspielig wären
Die Nachbildung wird aus echten Datensätzen gelernt, sodass Verhalten übertragen wird
Eine Beschränkung der Aktionsnorm verhindert, dass die Policy sich zu stark an die simulierte Welt anpasst
Nur die stärksten imaginären Aktionen werden jemals an echten Nutzern ausprobiert
Wenn ein System sich durch Versuch und Irrtum verbessert, sind Versuche die knappe Ressource; baue einen billigen Ersatz für die realen Kosten und gib dein Live-Budget nur für das aus, von dem die Nachbildung sagt, dass es funktionieren wird.
Virtual Taobao wurde zu einer Referenz für die Nutzung gelernter Simulatoren zum Trainieren von Entscheidungsfindung in kostspieligen Online-Umgebungen und beeinflusste spätere Arbeiten zu RL für Suche, Empfehlung und Preisgestaltung, wo Live-Experimente teuer sind.
DEN BELEGEN FOLGEN