Salesforce descubrió por qué su aplicación RAG obtenía un 90 % en las pruebas pero un 46 % con clientes reales

El pipeline de generación aumentada por recuperación (RAG) de Salesforce superaba el 90 % de precisión en los benchmarks estándar de recuperación de texto, pero caía a aproximadamente el 46 % al probarse con documentos empresariales complejos y representativos de clientes, como pólizas de seguros con tablas de varias páginas y celdas combinadas. La brecha solo salió a la luz tras dos trimestres de escalados de clientes, y el sospechoso obvio era el propio LLM.

En lugar de reemplazar el modelo o reescribir los prompts, el equipo de ingeniería trabajó hacia atrás desde cada respuesta incorrecta: ¿estaba completo el contexto recuperado? Si no lo estaba, ¿la recuperación eligió el fragmento equivocado, o el chunking dividió información relacionada, o el parseo la perdió primero? Las pruebas mostraron que los encabezados de las tablas se separaban de sus datos entre saltos de página, y que el chunking de tamaño fijo cortaba los procedimientos en límites arbitrarios de tokens, eliminando los encabezados y diagramas que les daban significado.

El equipo entonces cambió una etapa del pipeline a la vez y volvió a ejecutar el mismo benchmark por etapas para atribuir cada mejora. Añadir un «Parseo Inteligente» a nivel de página que dirige las tablas y gráficos complejos al procesamiento basado en modelos llevó una línea base por etapas del 65,1 % al 84,4 %. Enriquecer cada fragmento con metadatos y representaciones de preguntas, combinado con un modelo de embeddings que amplió la capacidad de contexto de 512 a 8000 tokens, añadió otros 2,4 puntos hasta el 86,8 %. En el conjunto completo de cambios, la precisión en el benchmark más amplio de documentos empresariales subió de aproximadamente el 46 % a más del 90 %.

Depurar el pipeline hacia atrás, una etapa aislada a la vez, en lugar de culpar al modelo

Probar el pipeline hacia atrás, etapa por etapa, aisló cuál de las etapas —parseo, chunking, enriquecimiento, embeddings o recuperación— causaba realmente cada respuesta incorrecta, en lugar de adivinar.

Cambiar exactamente una etapa antes de volver a ejecutar el mismo benchmark hizo atribuible cada mejora —65,1 % a 84,4 % a 86,8 %— en lugar de una única puntuación combinada opaca.

Dirigir las páginas según su complejidad estructural (texto simple frente a tablas/gráficos/diagramas) evitó enviar todos los documentos por el costoso parseo basado en modelos.

La corrección apuntó a donde se perdía el significado —encabezados separados de los datos, procedimientos divididos en límites de tokens— en lugar de pedirle a un modelo más inteligente que compensara el contexto faltante.

Cuando un sistema de IA falla en producción a pesar de superar los benchmarks, aísle y vuelva a probar cada etapa del pipeline por separado antes de tocar el modelo: el fallo suele estar aguas arriba de él.

Salesforce también trasladó la indexación de documentos pequeños de una arquitectura por lotes basada en Spark a una arquitectura justo a tiempo basada en servicios, reduciendo el tiempo de indexación entre tres y cuatro veces, de más de 30 minutos a aproximadamente siete u diez minutos. El equipo posicionó GraphRAG, que recorre un grafo de conocimiento entre documentos para preguntas de múltiples saltos, para su disponibilidad general en noviembre de 2026.