MatadorのGuideGeek、人間によるライブ引き継ぎとRLHFで旅行AIの精度98%を達成

Matador Networkは旅行出版社であり、2022年後半に開発チームがChatGPT公開直前にGPTへアクセスできるようになった時点では、テック企業になる計画はなかった。数か月のうちに、旅行者がWhatsAppでメッセージを送るAI旅行プランナー「GuideGeek」をリリースした。精度は約85%で、つまり6回に1回程度の会話に誤解やハルシネーションが含まれていた。Kloppはこれを画期的な技術ではなく、面白いガジェットだと呼んでいる。

解決策は組織的なものだった。メディアプラットフォームが臨界量のユーザーを集め、そのユーザーによる訂正が基本的な強化学習のシグナルとなった。さらにMatadorは、大半が多言語対応の人材5人を雇用し、RLHFを「本格稼働」させた。これまでに150万件のユーザーとAIの会話を監視し、微妙な見落としを捉え、会話を手動で引き継いで軌道修正し、各問題にフラグを立てて分類し、バックエンドの修正によって同種の質問全体を改善してきた。

別のシステムが、質問がモデルに到達する前に分類し、言い換える。「今週末」は実際の日付に変換され、古いイベントページがハルシネーションを引き起こすのを防ぎ、「バンクーバーのAirbnb」に続く「Yaletownの近く」は1つのクエリにまとめられる。この書き換えレイヤーの下にはプラグインネットワークがあり、質問の意図が分類されると、ボットは提携先にフライト時刻、ホテル価格、為替レートを問い合わせ、その結果をLLMに渡す。ギャップに対するKloppの明言したルールは、プラグインのバックログが追いつくまでの間、ハルシネーションよりも「その機能はまだありません」という友好的な回答の方が優れているというものだ。

メディア視聴者をトレーニングパイプラインとして扱う。85%でローンチし、レビュアーが失敗するチャットをライブで引き継ぎ、すべての救済をカテゴリレベルの修正に変える。

ライブ引き継ぎにより、すべてのサポート上の失敗がラベル付きトレーニングデータになるため、同じミスを手作業で二度修正する必要がない。

メディア視聴者が臨界量の会話ボリュームを提供したからこそ、150万件のチャットを人間がレビューする価値が生まれる。

質問の言い換えはハルシネーションの根源を攻撃する。悪い回答のほとんどは、間違った質問への回答だったからだ。

意図に応じたリアルタイムの提携先データにより、ボットはモデルの記憶ではなく最新の情報源から回答する。

機能の欠如を認めることで、製品領域が構築される間も精度を誠実に保てる。

精度はモデルの問題である前に運用の問題である。人間の引き継ぎはユーザーを救い、データにラベルを付ける。質問の書き換えはより大きなモデルに勝り、「まだできません」はハルシネーションに勝る。

2025年1月までに、Kloppは15か月のRLHFを経て98%の精度に到達したと報告している。100万人以上のユーザー、主要な旅行ブランドとの提携、受賞歴も挙げられている。これらの数字はCTOが自身のコラムで自己申告したものであり、記事内に独立した監査はない。