Matador의 GuideGeek, 실시간 인간 개입과 RLHF로 여행 AI 정확도 98% 달성

Matador Network는 2022년 말, ChatGPT 출시 직전에 개발팀이 GPT에 접근하게 되었을 당시 기술 기업이 될 계획이 전혀 없던 여행 출판사였다. 몇 달 만에 이 회사는 여행자들이 WhatsApp으로 메시지를 보내는 AI 여행 플래너인 GuideGeek을 출시했다. 정확도는 약 85%였는데, 이는 대략 여섯 번의 대화 중 한 번꼴로 오해나 환각이 포함되었다는 뜻으로, Klopp은 이를 획기적인 기술이라기보다 재미있는 장난감이라고 부른다.

해결책은 조직적인 것이었다. 이 미디어 플랫폼은 임계량의 사용자를 끌어모았고, 그들의 수정이 기본적인 강화 신호를 제공했다. 그 위에 Matador는 대부분 다국어 구사자인 5명을 고용해 RLHF를 '본격 가동'했는데, 지금까지 이들은 150만 건의 사용자-AI 대화를 모니터링하며 미묘한 오류를 잡아내고, 대화를 수동으로 개입해 정상 궤도로 되돌린 뒤, 각 문제를 표시하고 분류해 백엔드 수정으로 이어지게 함으로써 특정 범주의 질문 전체를 개선했다.

별도의 시스템이 질문이 모델에 도달하기 전에 이를 분류하고 재구성한다. '이번 주말'은 실제 날짜로 변환되어 오래된 이벤트 페이지가 더 이상 환각을 일으키지 않게 하고, '밴쿠버의 에어비앤비'에 이어 '예일타운 근처'라고 하면 하나의 쿼리로 통합된다. 재작성 계층 아래에는 플러그인 네트워크가 있는데, 질문의 의도가 분류되면 봇이 파트너에게 항공편 시간, 호텔 가격 또는 환율을 요청해 그 결과를 LLM에 제공한다. 격차에 대한 Klopp의 명시된 원칙은 다음과 같다. 플러그인 백로그가 따라잡을 때까지는 친절한 '아직 그 기능은 없습니다'가 환각보다 낫다.

미디어 오디언스를 학습 파이프라인으로 삼아라. 85%로 출시하고, 검토자들이 실패하는 채팅을 실시간으로 인수하게 하며, 모든 구제를 범주 수준의 수정으로 전환하라

실시간 인수는 모든 지원 실패를 라벨링된 학습 데이터로 전환하므로, 같은 실수를 두 번 수작업으로 고칠 필요가 없다.

미디어 오디언스는 임계량의 대화 볼륨을 제공했고, 이것이 바로 150만 건의 채팅을 인력으로 검토할 가치가 있게 만든다.

질문을 재구성하는 것은 환각을 근원에서 공격한다. 대부분의 잘못된 답변은 잘못된 질문에 대한 답변이었다.

의도별 실시간 파트너 데이터 덕분에 봇은 모델의 기억이 아니라 최신 출처에서 답한다.

부족한 기능을 인정하는 것은 해당 제품 영역이 구축되는 동안 정확도를 정직하게 유지한다.

정확도는 모델 문제이기 전에 운영 문제다. 인간의 인수가 사용자를 구하고 데이터를 라벨링하며, 질문을 재작성하는 것이 더 큰 모델보다 낫고, '아직은 안 됩니다'가 환각보다 낫다.

2025년 1월까지 Klopp은 15개월간의 RLHF를 통해 98%의 정확도에 도달했으며, 100만 명 이상의 사용자, 주요 여행 브랜드와의 파트너십 및 수상을 보고한다. 이 수치들은 CTO가 자신의 칼럼에서 스스로 보고한 것이며, 해당 기사에는 독립적인 감사가 없다.