Matadors GuideGeek erreichte 98 % Reise-KI-Genauigkeit mit Live-Übernahmen durch Menschen und RLHF

Matador Network war ein Reiseverlag ohne Pläne, ein Technologieunternehmen zu werden, als sein Entwicklungsteam Ende 2022 Zugang zu GPT erhielt, kurz bevor ChatGPT startete. Innerhalb weniger Monate brachte es GuideGeek auf den Markt, einen KI-Reiseplaner, dem Reisende per WhatsApp schreiben. Die Genauigkeit lag bei etwa 85 % – das heißt, ungefähr jedes sechste Gespräch enthielt eine Fehlkommunikation oder Halluzination, was Klopp eher als unterhaltsames Gadget denn als bahnbrechende Technologie bezeichnet.

Die Lösung war organisatorischer Natur. Die Medienplattform zog eine kritische Masse an Nutzern an, deren Korrekturen ein grundlegendes Verstärkungssignal lieferten. Darüber hinaus stellte Matador fünf Personen ein, die meisten mehrsprachig, um RLHF „auf Hochtouren“ zu bringen: Bislang haben sie 1,5 Millionen Nutzer-KI-Gespräche überwacht, subtile Fehler erkannt, Gespräche manuell übernommen, um sie wieder auf Kurs zu bringen, und dann jedes Problem markiert und kategorisiert, damit eine Backend-Korrektur eine ganze Kategorie von Fragen verbessert.

Ein separates System kategorisiert und formuliert Fragen um, bevor sie das Modell erreichen – „dieses Wochenende“ wird in konkrete Daten übersetzt, damit alte Veranstaltungsseiten keine Halluzinationen mehr auslösen, und „Airbnbs in Vancouver“ gefolgt von „nahe Yaletown“ wird zu einer einzigen Anfrage zusammengefasst. Unter der Umschreibungs-Schicht liegt ein Plugin-Netzwerk: Wenn die Absicht einer Frage kategorisiert ist, fragt der Bot Partner nach Flugzeiten, Hotelpreisen oder Wechselkursen ab und speist das Ergebnis in das LLM ein. Klopps erklärte Regel für Lücken: Ein freundliches „Diese Fähigkeit habe ich noch nicht“ ist besser als eine Halluzination, während der Plugin-Rückstand aufgearbeitet wird.

Behandle dein Medienpublikum als Trainingspipeline: Starte mit 85 %, lass Prüfer scheiternde Chats live übernehmen und verwandle jede Rettung in eine Korrektur auf Kategorieebene

Live-Übernahme macht aus jedem Support-Fehlschlag gekennzeichnete Trainingsdaten, sodass derselbe Fehler nie zweimal von Hand behoben werden muss.

Das Medienpublikum lieferte Gesprächsvolumen in kritischer Masse – das ist es, was die Personalausstattung für die menschliche Prüfung von 1,5 Millionen Chats lohnend macht.

Das Umformulieren von Fragen bekämpft Halluzinationen an der Quelle – die meisten schlechten Antworten waren Antworten auf die falsche Frage.

Partnerdaten in Echtzeit nach Absicht bedeuten, dass der Bot aus aktuellen Quellen antwortet statt aus dem Gedächtnis eines Modells.

Das Eingeständnis fehlender Fähigkeiten hält die Genauigkeit ehrlich, während der Produktbereich ausgebaut wird.

Genauigkeit ist ein Betriebsproblem, bevor sie ein Modellproblem ist: Eine menschliche Übernahme rettet den Nutzer und kennzeichnet die Daten, das Umschreiben der Frage schlägt ein größeres Modell, und „Ich kann noch nicht“ schlägt eine Halluzination.

Bis Januar 2025 berichtet Klopp von 98 % Genauigkeit, erreicht über 15 Monate RLHF, mehr als einer Million Nutzern, Partnerschaften mit großen Reisemarken und Auszeichnungen – Zahlen, die der CTO in seiner Kolumne selbst angibt, ohne dass in dem Beitrag eine unabhängige Prüfung erfolgte.