알리바바는 AI가 실제 사용자 없이 훈련할 수 있도록 타오바오의 시뮬레이터를 구축했다.

강화 학습은 행동을 취하고 결과를 관찰하며 학습하지만, 거대한 소매 사이트에서 하나의 행동은 만족시키기를 바라는 고객이며, 잘못된 실험은 잃어버리는 판매입니다. 정책을 훈련하기에 충분한 실제 시행을 샘플링하는 것은 비용이 많이 들고 위험합니다.

타오바오 팀은 수억 건의 실제 고객 기록에서 학습한 시뮬레이터인 Virtual Taobao를 구축했으며, 생성적 적대 훈련을 사용해 실제 행동과 일치시키고 다중 에이전트 모방을 통해 구매자가 반응하는 방식을 포착했습니다. 그런 다음 제품 검색을 위한 정책이 이 복제본 내에서 실시간 비용 없이 훈련되었습니다.

시뮬레이터가 실제 시장 행동을 포착했기 때문에 훈련된 정책은 실제 사이트로 전이되었고, 대체한 지도 학습 접근법을 능가하여 비용이 많이 드는 실제 세계 학습 문제를 오프라인에서 해결되는 저렴한 문제로 바꾸었습니다.

충실한 복제본에서 훈련하여 사용자에게 도박을 걸지 마세요

시뮬레이션은 RL이 실시간으로 취하기에는 너무 많은 비용이 드는 행동을 취할 수 있게 한다

복제본은 실제 기록에서 학습되므로 행동이 전이된다

행동 노름 제약이 정책이 가짜 세계에 과적합되는 것을 막는다

가장 강력한 상상된 행동만이 실제 사용자에게 시도된다

시스템이 시행착오를 통해 개선될 때, 시행은 희소한 자원이다. 실제 비용에 대한 저렴한 대체물을 구축하고, 복제본이 효과가 있을 것이라고 말하는 것에만 실시간 예산을 사용하라.

Virtual Taobao는 실시간 실험이 비용이 많이 드는 검색, 추천 및 가격 책정을 위한 RL에 관한 후속 연구에 영향을 미치며, 고비용 온라인 환경에서 의사 결정을 훈련하기 위해 학습된 시뮬레이터를 사용하는 것에 대한 참조가 되었다.