阿里巴巴為淘寶打造模擬器，讓其 AI 能在沒有真實用戶的情況下進行訓練。

強化學習透過採取行動並觀察結果來學習，但在一個龐大的零售網站上，一次行動就是一位你希望能滿足的顧客，而一次糟糕的實驗就是一筆你失去的銷售。要取樣足夠的真實試驗來訓練策略，既昂貴又有風險。

淘寶團隊打造了 Virtual Taobao，一個從數億筆真實顧客紀錄中學習而來的模擬器，運用生成對抗式訓練來貼合真實行為，並以多智能體模仿來捕捉買家的反應方式。商品搜尋的策略隨後便在這份複製品中訓練，不產生任何線上成本。

由於模擬器捕捉了真實市場行為，訓練出的策略得以移轉到線上網站，並超越它所取代的監督式方法，將一個昂貴的真實世界學習問題，轉變為一個在離線環境中解決的廉價問題。

在忠實的複製品中訓練，讓你永遠不必在用戶身上冒險

模擬讓強化學習能採取在線上執行會過於昂貴的行動

複製品是從真實紀錄學習而來，因此行為得以延續

行動範數約束可防止策略過度擬合虛假世界

只有最強的想像行動才會在真實用戶身上嘗試

當一個系統透過試錯來改進時，試驗就是稀缺資源；為真實成本打造一個廉價的替代品，並只把線上預算花在複製品認為會奏效的事情上。

Virtual Taobao 成為運用學習式模擬器在高成本線上環境中訓練決策的參考，影響了後續在搜尋、推薦與定價方面、線上實驗所費不貲的強化學習研究。