Matador 的 GuideGeek 借助实时人工接管与 RLHF 实现 98% 的旅行 AI 准确率

Matador Network 原本是一家旅行出版商，并无成为科技公司的计划，直到其开发团队在 2022 年底、ChatGPT 发布前夕获得了 GPT 的访问权限。几个月内，它便推出了 GuideGeek——一款旅行者可通过 WhatsApp 发消息使用的 AI 旅行规划工具。当时准确率约为 85%，这意味着大约每六次对话中就有一次包含沟通失误或幻觉，Klopp 称其为一个有趣的玩具，而非颠覆性技术。

解决办法在于组织层面。该媒体平台吸引了足够规模的用户群，用户的纠正提供了基础的强化信号。在此基础上，Matador 雇用了五名员工（多数为多语种），将 RLHF“全速推进”：迄今为止，他们已监控了 150 万次用户与 AI 的对话，捕捉细微的失误，人工接管对话使其重回正轨，然后标记并归类每个问题，交由后端修复，从而改进一整类问题。

另有一套独立系统在问题进入模型之前对其进行分类和重构——“这个周末”会被转换为具体日期，以免过期的活动页面引发幻觉；而“温哥华的 Airbnb”后接“靠近 Yaletown”，则会被合并为一个查询。在重写层之下是一个插件网络：当问题的意图被分类后，机器人会向合作伙伴请求航班时间、酒店价格或汇率，并将结果提供给大语言模型。Klopp 针对能力缺口的既定规则是：在插件积压待补期间，一句友好的“我目前还不具备该能力”胜过幻觉。

把你的媒体受众当作训练流水线：以 85% 的准确率上线，让审核员实时接管失败的对话，并将每一次挽救转化为类别层面的修复

实时接管将每一次支持失败转化为带标签的训练数据，因此同一个错误无需人工修复两次。

媒体受众提供了达到临界规模的对话量，这正是值得为 150 万次对话配备人工审核的原因。

重构问题从源头打击幻觉——大多数糟糕的回答其实是对错误问题的回答。

按意图调用实时合作伙伴数据，意味着机器人依据当前来源作答，而非依赖模型的记忆。

承认能力缺失，能在产品功能建设期间保持准确率的诚实。

准确率首先是运营问题，其次才是模型问题：人工接管既挽救了用户又标注了数据，重写问题胜过更大的模型，而“我暂时还不能”胜过幻觉。

截至 2025 年 1 月，Klopp 报告称，经过 15 个月的 RLHF，准确率已达到 98%，用户超过一百万，并与主要旅行品牌建立了合作、获得了多个奖项——这些数字由这位 CTO 在其专栏中自行报告，文中并无独立审计。