O GuideGeek da Matador alcançou 98% de precisão em IA de viagens com transferências ao vivo para humanos e RLHF

A Matador Network era uma editora de viagens sem planos de se tornar uma empresa de tecnologia quando sua equipe de desenvolvimento obteve acesso ao GPT no final de 2022, pouco antes do lançamento do ChatGPT. Em poucos meses, lançou o GuideGeek, um planejador de viagens com IA com o qual os viajantes conversam pelo WhatsApp. A precisão era de cerca de 85% — ou seja, aproximadamente uma em cada seis conversas incluía uma falha de comunicação ou alucinação, o que Klopp chama de gadget divertido, e não de tecnologia revolucionária.

A solução foi organizacional. A plataforma de mídia atraiu uma massa crítica de usuários, cujas correções forneceram um sinal básico de reforço. Além disso, a Matador contratou cinco pessoas, a maioria multilíngue, para colocar o RLHF 'em alta velocidade': até hoje, elas monitoraram 1,5 milhão de conversas entre usuários e IA, detectando erros sutis, assumindo manualmente conversas para colocá-las de volta nos trilhos e, em seguida, sinalizando e categorizando cada problema para uma correção no backend que melhora toda uma categoria de perguntas.

Um sistema separado categoriza e reformula as perguntas antes que cheguem ao modelo — 'neste fim de semana' é traduzido em datas reais para que páginas antigas de eventos deixem de causar alucinações, e 'Airbnbs em Vancouver' seguido de 'perto de Yaletown' é consolidado em uma única consulta. Sob a camada de reescrita está uma rede de plugins: quando a intenção de uma pergunta é categorizada, o bot consulta parceiros para obter horários de voos, preços de hotéis ou taxas de câmbio e alimenta o resultado ao LLM. A regra declarada por Klopp para lacunas: um amigável 'ainda não tenho essa capacidade' é melhor do que uma alucinação enquanto a fila de plugins é implementada.

Trate seu público de mídia como o pipeline de treinamento: lance com 85%, deixe os revisores assumirem conversas com falha ao vivo e transforme cada resgate em uma correção no nível da categoria

A transferência ao vivo transforma cada falha de suporte em dados de treinamento rotulados, de modo que o mesmo erro nunca precise ser corrigido duas vezes manualmente.

O público de mídia forneceu volume de conversas em massa crítica, que é o que torna o trabalho de revisão humana de 1,5 milhão de conversas digno de contratação.

Reformular as perguntas ataca as alucinações na origem — a maioria das respostas ruins eram respostas à pergunta errada.

Dados de parceiros em tempo real por intenção fazem o bot responder a partir de fontes atuais, em vez da memória de um modelo.

Admitir a falta de capacidade mantém a precisão honesta enquanto a área do produto é desenvolvida.

A precisão é um problema de operações antes de ser um problema de modelo: a transferência para um humano resgata o usuário e rotula os dados, reescrever a pergunta supera um modelo maior, e 'ainda não consigo' supera uma alucinação.

Em janeiro de 2025, Klopp relata 98% de precisão alcançada ao longo de 15 meses de RLHF, mais de um milhão de usuários, parcerias com grandes marcas de viagens e prêmios — números autorrelatados pelo CTO em sua coluna, sem auditoria independente no artigo.