Le GuideGeek de Matador atteint 98 % de précision en IA de voyage grâce à des reprises humaines en direct et au RLHF

Matador Network était un éditeur de voyage sans intention de devenir une entreprise technologique lorsque son équipe de développement a obtenu accès à GPT fin 2022, juste avant le lancement de ChatGPT. En quelques mois, elle a lancé GuideGeek, un planificateur de voyage par IA auquel les voyageurs écrivent sur WhatsApp. La précision était d'environ 85 % — autrement dit, environ une conversation sur six comportait un malentendu ou une hallucination, ce que Klopp qualifie de gadget amusant plutôt que de technologie révolutionnaire.

Le correctif a été organisationnel. La plateforme média a attiré une masse critique d'utilisateurs, dont les corrections ont fourni un signal de renforcement de base. En plus de cela, Matador a embauché cinq personnes, pour la plupart multilingues, afin de mettre le RLHF « en surrégime » : à ce jour, elles ont surveillé 1,5 million de conversations entre utilisateurs et IA, repérant les manques subtils, reprenant manuellement des conversations pour les remettre sur les rails, puis signalant et catégorisant chaque problème en vue d'une correction côté backend qui améliore toute une catégorie de questions.

Un système distinct catégorise et reformule les questions avant qu'elles n'atteignent le modèle — « ce week-end » est traduit en dates réelles pour que les anciennes pages d'événements cessent de provoquer des hallucinations, et « des Airbnb à Vancouver » suivi de « près de Yaletown » est fusionné en une seule requête. Sous la couche de réécriture se trouve un réseau de plugins : lorsque l'intention d'une question est catégorisée, le bot interroge des partenaires pour les horaires de vol, les tarifs hôteliers ou les taux de change et transmet le résultat au LLM. La règle énoncée par Klopp en cas de lacune : un « Je n'ai pas encore cette capacité » aimable vaut mieux qu'une hallucination, le temps que le backlog de plugins rattrape son retard.

Traitez votre audience média comme le pipeline d'entraînement : lancez-vous à 85 %, laissez des relecteurs reprendre en direct les conversations qui échouent, et transformez chaque sauvetage en correction au niveau de la catégorie

La reprise en direct transforme chaque échec du support en donnée d'entraînement étiquetée, de sorte que la même erreur n'a jamais à être corrigée deux fois à la main.

L'audience média a fourni un volume de conversations à masse critique, ce qui justifie de mobiliser du personnel pour la relecture humaine de 1,5 million de conversations.

La reformulation des questions attaque les hallucinations à la source — la plupart des mauvaises réponses étaient des réponses à la mauvaise question.

Les données partenaires en temps réel par intention signifient que le bot répond à partir de sources actuelles plutôt que de la mémoire d'un modèle.

Reconnaître une capacité manquante maintient une précision honnête pendant que le domaine produit se construit.

La précision est un problème d'opérations avant d'être un problème de modèle : une reprise humaine sauve l'utilisateur et étiquette la donnée, reformuler la question vaut mieux qu'un modèle plus gros, et « Je ne peux pas encore » vaut mieux qu'une hallucination.

En janvier 2025, Klopp rapporte une précision de 98 % atteinte sur 15 mois de RLHF, plus d'un million d'utilisateurs, des partenariats avec de grandes marques de voyage et des récompenses — des chiffres auto-déclarés par le CTO dans sa chronique, sans audit indépendant dans l'article.