La guía de viajes con IA de Matador, GuideGeek, alcanzó un 98 % de precisión con intervenciones humanas en vivo y RLHF

Matador Network era una editorial de viajes sin planes de convertirse en empresa tecnológica cuando su equipo de desarrollo obtuvo acceso a GPT a finales de 2022, justo antes del lanzamiento de ChatGPT. En pocos meses lanzó GuideGeek, un planificador de viajes con IA al que los viajeros escriben por WhatsApp. La precisión era de alrededor del 85 %, es decir, aproximadamente una de cada seis conversaciones incluía una comunicación errónea o una alucinación, lo que Klopp califica de gadget divertido más que de tecnología revolucionaria.

La solución fue organizativa. La plataforma mediática atrajo una masa crítica de usuarios cuyas correcciones aportaron una señal básica de refuerzo. Además, Matador contrató a cinco personas, en su mayoría multilingües, para poner el RLHF «a toda marcha»: hasta la fecha han supervisado 1,5 millones de conversaciones entre usuarios e IA, detectando fallos sutiles, tomando manualmente el control de las conversaciones para reencauzarlas y luego marcando y categorizando cada problema para una corrección en el backend que mejora toda una categoría de preguntas.

Un sistema aparte categoriza y reformula las preguntas antes de que lleguen al modelo: «este fin de semana» se traduce a fechas concretas para que las páginas de eventos antiguas dejen de provocar alucinaciones, y «Airbnbs en Vancouver» seguido de «cerca de Yaletown» se fusiona en una sola consulta. Bajo la capa de reescritura hay una red de plugins: cuando se categoriza la intención de una pregunta, el bot consulta a socios los horarios de vuelos, los precios de hoteles o los tipos de cambio y alimenta el resultado al LLM. La regla que Klopp declara para los vacíos: un amable «todavía no tengo esa capacidad» es mejor que una alucinación mientras se pone al día la lista de plugins pendientes.

Trata a tu audiencia mediática como el canal de entrenamiento: lanza con un 85 %, deja que los revisores tomen el control en vivo de los chats que fallan y convierte cada rescate en una corrección a nivel de categoría

La toma de control en vivo convierte cada fallo de soporte en datos de entrenamiento etiquetados, de modo que un mismo error nunca tiene que corregirse dos veces a mano.

La audiencia mediática aportó volumen de conversaciones en masa crítica, que es lo que hace que merezca la pena destinar personal a la revisión humana de 1,5 millones de chats.

Reformular las preguntas ataca las alucinaciones en su origen: la mayoría de las respuestas malas eran respuestas a la pregunta equivocada.

Los datos de socios en tiempo real según la intención hacen que el bot responda a partir de fuentes actuales en lugar de la memoria de un modelo.

Admitir la falta de capacidad mantiene la precisión honesta mientras se desarrolla esa área del producto.

La precisión es un problema de operaciones antes que un problema de modelo: una toma de control humana rescata al usuario y etiqueta los datos, reescribir la pregunta supera a un modelo más grande, y «todavía no puedo» supera a una alucinación.

En enero de 2025 Klopp informa de un 98 % de precisión alcanzado a lo largo de 15 meses de RLHF, más de un millón de usuarios, alianzas con grandes marcas de viajes y premios: cifras autoinformadas por el CTO en su columna, sin auditoría independiente en el artículo.