阿里巴巴为淘宝打造模拟器，让人工智能无需真实用户即可训练。

强化学习通过采取行动并观察结果来学习，但在一个巨大的零售网站上，一次行动就是一位你希望满足的顾客，而一个糟糕的实验则意味着失去一笔销售。为了训练策略而采样足够的真实试验既昂贵又冒险。

淘宝团队构建了虚拟淘宝，一个从数亿条真实客户记录中学习得到的模拟器，使用生成对抗训练来匹配真实行为，并通过多智能体模仿来捕捉买家的反应。随后，商品搜索策略在这个复制品中训练，无需实时成本。

由于模拟器捕捉了真实市场行为，训练出的策略成功迁移到真实网站，并优于它所替代的监督方法，将昂贵的现实学习问题转变为一个廉价的离線问题。

在忠实的复制品中训练，这样你永远不会拿用户冒险。

模拟让强化学习能够采取在现实中代价过高的行动

复制品基于真实记录学习，因此行为得以延续

动作规范约束防止策略过度拟合虚拟世界

只有最有力的想象行动才会在真实用户身上尝试

当系统通过试错改进时，试验是稀缺资源；构建一个廉价替代真实成本的模拟器，并只在复制品认为可行的情况下投入真实预算。

虚拟淘宝成为使用学习模拟器训练高成本在线环境决策的参考，影响了后来在搜索、推荐和定价中实时实验成本高昂的强化学习研究。