アリババは、AIが実ユーザーなしで訓練できるよう、タオバオのシミュレーターを構築した。

強化学習は行動を取って結果を観察することで学習するが、巨大な小売サイトでは、行動とは満足させたいと願う一人の顧客であり、悪い実験とは失う一つの売上である。ポリシーを訓練するのに十分な実試行をサンプリングすることは、費用がかかりリスクも伴う。

タオバオのチームは、数億件の実際の顧客記録から学習したシミュレーターであるVirtual Taobaoを構築し、生成的敵対的訓練を用いて実行動に一致させ、マルチエージェント模倣を用いて買い手がどのように反応するかを捉えた。その後、商品検索のためのポリシーが、このレプリカ内で実環境のコストなしに訓練された。

シミュレーターが実際の市場行動を捉えていたため、訓練されたポリシーは実サイトに転移し、置き換えた教師あり手法を上回り、費用のかかる実世界の学習問題をオフラインで解く安価な問題に変えた。

忠実なレプリカで訓練し、ユーザーで賭け事をしない

シミュレーションにより、RLは実環境ではコストが高すぎる行動を取れる

レプリカは実際の記録から学習されるため、行動が引き継がれる

行動ノルム制約により、ポリシーが偽の世界に過剰適合するのを防ぐ

想像された最も強い行動のみが実ユーザーに対して試される

システムが試行錯誤によって改善する場合、試行が希少な資源である。実際のコストの安価な代替物を構築し、実環境の予算はレプリカがうまくいくと言うものにのみ使うべきである。

Virtual Taobaoは、実環境での実験が高コストなオンライン環境において意思決定を訓練するために学習済みシミュレーターを用いるための参照事例となり、実環境実験が高コストである検索、推薦、価格設定のためのRLに関するその後の研究に影響を与えた。