A Salesforce descobriu por que seu aplicativo RAG obtinha 90% nos testes, mas 46% com clientes reais

O pipeline de geração aumentada por recuperação (RAG) da Salesforce ultrapassava 90% de precisão em benchmarks padrão de recuperação de texto, mas caía para aproximadamente 46% quando testado com documentos empresariais complexos e representativos de clientes, como apólices de seguro com tabelas de várias páginas e células mescladas. A lacuna só veio à tona após dois trimestres de escalonamentos de clientes, e o suspeito óbvio era o próprio LLM.

Em vez de substituir o modelo ou reescrever os prompts, a equipe de engenharia trabalhou de trás para frente a partir de cada resposta errada: o contexto recuperado estava completo? Se não, a recuperação escolheu o trecho errado, ou o chunking dividiu informações relacionadas, ou o parsing as perdeu primeiro? Os testes mostraram que os cabeçalhos das tabelas estavam sendo separados de seus dados entre quebras de página, e que o chunking de tamanho fixo estava fatiando procedimentos em limites arbitrários de tokens, removendo os títulos e diagramas que lhes davam significado.

A equipe então alterou uma etapa do pipeline por vez e executou novamente o mesmo benchmark escalonado para atribuir cada ganho. A adição de um 'Intelligent Parsing' em nível de página, que encaminha tabelas e gráficos complexos para processamento baseado em modelo, elevou uma linha de base escalonada de 65,1% para 84,4%. O enriquecimento de cada trecho com metadados e representações de perguntas, combinado com um modelo de embedding que ampliou a capacidade de contexto de 512 para 8.000 tokens, acrescentou mais 2,4 pontos, chegando a 86,8%. No conjunto completo de mudanças, a precisão no benchmark mais amplo de documentos empresariais subiu de aproximadamente 46% para mais de 90%.

Depurar o pipeline de trás para frente, uma etapa isolada por vez, em vez de culpar o modelo

Testar o pipeline de trás para frente, etapa por etapa, isolou qual de parsing, chunking, enriquecimento, embedding ou recuperação realmente causava cada resposta errada, em vez de adivinhar.

Alterar exatamente uma etapa antes de executar novamente o mesmo benchmark tornou cada ganho atribuível — 65,1% para 84,4% para 86,8% — em vez de uma única pontuação combinada e opaca.

Encaminhar páginas conforme a complexidade estrutural (texto simples vs. tabelas/gráficos/diagramas) evitou enviar todos os documentos por um parsing caro baseado em modelo.

A correção mirou onde o significado estava sendo perdido — cabeçalhos separados dos dados, procedimentos divididos em limites de tokens — em vez de pedir a um modelo mais inteligente que compensasse o contexto ausente.

Quando um sistema de IA falha em produção apesar de passar nos benchmarks, isole e teste novamente cada etapa do pipeline separadamente antes de mexer no modelo — a falha geralmente está a montante dele.

A Salesforce também migrou a indexação de documentos menores de uma arquitetura em lote baseada em Spark para uma arquitetura just-in-time baseada em serviços, reduzindo o tempo de indexação de três a quatro vezes, de mais de 30 minutos para cerca de sete a dez minutos. A equipe posicionou o GraphRAG, que percorre um grafo de conhecimento entre documentos para perguntas de múltiplos saltos, para disponibilidade geral em novembro de 2026.