L'apprentissage par renforcement apprend en prenant des actions et en observant les résultats, mais sur un site de vente au détail massif, une action est un client que l'on espère satisfaire et une mauvaise expérience est une vente perdue. Échantillonner suffisamment d'essais réels pour entraîner une politique est coûteux et risqué.
L'équipe Taobao a construit Virtual Taobao, un simulateur appris à partir de centaines de millions d'enregistrements de clients authentiques, en utilisant un entraînement antagoniste génératif pour reproduire le comportement réel et une imitation multi-agents pour capturer la façon dont les acheteurs réagissent. Des politiques de recherche de produits ont ensuite été entraînées à l'intérieur de cette réplique sans coût en production.
Parce que le simulateur capturait le comportement réel du marché, la politique entraînée s'est transférée au site en production et a surpassé l'approche supervisée qu'elle remplaçait, transformant un problème d'apprentissage coûteux dans le monde réel en un problème bon marché résolu hors ligne.
S'entraîner dans une réplique fidèle pour ne jamais jouer avec les utilisateurs
La simulation permet à l'apprentissage par renforcement de prendre des actions qui seraient trop coûteuses à prendre en production
La réplique est apprise à partir d'enregistrements réels, de sorte que le comportement se transpose
Une contrainte de norme d'action empêche la politique de surajuster le monde fictif
Seules les actions imaginées les plus fortes sont jamais essayées sur de vrais utilisateurs
Lorsqu'un système s'améliore par essais et erreurs, les essais sont la ressource rare ; construisez un substitut bon marché au coût réel et ne dépensez votre budget en production que sur ce que la réplique dit qui fonctionnera.
Suites
Virtual Taobao est devenu une référence pour l'utilisation de simulateurs appris afin d'entraîner la prise de décision dans des environnements en ligne à coût élevé, influençant des travaux ultérieurs sur l'apprentissage par renforcement pour la recherche, la recommandation et la tarification où l'expérimentation en production est coûteuse.
VÉRIFIEZ LES SOURCES