Matador 的 GuideGeek 靠真人即時接手與 RLHF 達到 98% 旅遊 AI 準確率

Matador Network 原本是一家旅遊出版商，2022 年底、ChatGPT 問世前不久，其開發團隊取得 GPT 使用權時，公司並沒有轉型為科技公司的計畫。幾個月內，他們就推出了 GuideGeek，一款讓旅客透過 WhatsApp 傳訊互動的 AI 旅遊規劃工具。當時準確率約 85%，也就是大約每六段對話就有一段出現溝通失誤或幻覺；Klopp 稱之為有趣的小玩意，而非足以改變遊戲規則的技術。

解法出在組織層面。這個媒體平台吸引了足夠規模的關鍵使用者，他們的糾正提供了基本的強化訊號。在此之上，Matador 還聘了五個人，多數具備多語能力，把 RLHF「全面加速」：迄今他們已監看 150 萬則使用者與 AI 的對話，揪出細微的失誤，手動接手對話把它導回正軌，再逐一標記、分類每個問題，交由後端修正，從而改善一整類問題的回答。

另有一套系統會在問題送進模型前先分類並改寫：「這週末」會被轉換成實際日期，讓過時的活動頁面不再引發幻覺；「溫哥華的 Airbnb」接著說「靠近 Yaletown」，則會被合併成單一查詢。改寫層之下是一套外掛網路：問題的意圖一經分類，機器人就會向合作夥伴查詢航班時刻、飯店價格或匯率，再把結果餵給大型語言模型。對於能力缺口，Klopp 訂下的規則是：在外掛待辦清單補上之前，一句友善的「我目前還沒有這項能力」，勝過一次幻覺。

把媒體受眾當成訓練管線：以 85% 起步，讓審查員即時接手失敗的對話，並把每一次救援都轉化為類別層級的修正。

即時接手讓每一次客服失敗都變成有標註的訓練資料，因此同一個錯誤不必靠人工修兩次。

媒體受眾提供了達到關鍵規模的對話量，這正是值得投入人力審查 150 萬則對話的原因。

改寫問題等於從源頭打擊幻覺——大多數糟糕的回答，其實是在回答錯誤的問題。

依意圖即時取得合作夥伴資料，意味著機器人依據當前來源作答，而非依賴模型的記憶。

坦承能力不足，能在產品功能建置完成前維持準確率的誠實。

準確率首先是營運問題，其次才是模型問題：真人接手既能救回使用者，也能標註資料；改寫問題勝過換更大的模型；「我目前還不行」勝過一次幻覺。

截至 2025 年 1 月，Klopp 表示經過 15 個月的 RLHF，準確率已達 98%，使用者超過一百萬，並與多家大型旅遊品牌建立合作、獲得多個獎項——這些數字是這位技術長在其專欄中自行回報，該篇報導並無獨立查核。