En producción, los sistemas agénticos responden preguntas sobre datos que residen en varios lugares y cambian continuamente. Los benchmarks de recuperación existentes congelan los datos, por lo que solo pueden preguntar si un agente encontró el pasaje correcto, no si la respuesta sigue siendo verdadera. Un agente que cita el precio de ayer o los permisos de un usuario que ya se fue parece idéntico a uno que razona mal.
ChurnBench reconstruye el benchmark en torno al tiempo. Genera una malla de datos empresariales de cuatro fuentes como una línea temporal en lugar de una instantánea, escribe cada cambio en un registro de verdad fundamental de solo adición y calcula las respuestas de referencia a partir de ese registro en lugar de los almacenes en vivo. La verdad fundamental se resuelve en ambas marcas temporales para cada caso reportado, de modo que una respuesta que era correcta al recuperarse pero incorrecta al evaluarse se detecta y se etiqueta como error de frescura, separado de un error de razonamiento.
El instrumento produjo un hallazgo contraintuitivo: cuando un sistema se actualiza según una programación, la antigüedad de la caché no predice la obsolescencia. A través de antigüedades de caché de 1, 14 y 28 días, los errores de frescura fueron 7, 4 y 4, porque la actualización programada acota la obsolescencia mediante el tiempo de vida y no se observó ningún lapso de TTL en ninguna ventana. Una ablación controlada confirma el mecanismo: desactivar la actualización por niveles eleva los errores de frescura de 4 a 45 a los 28 días, mientras que los deja idénticos a un día.
La conclusión para los constructores de sistemas: la variable que un benchmark de deriva debería barrer es la configuración de TTL frente a la tasa de cambio de cada entidad, no la longitud de la ventana de deriva.
Sellar cada hecho en un registro de solo adición y resolver las respuestas de referencia en ambas marcas temporales
Una respuesta puede ser correcta cuando se obtuvieron sus datos e incorrecta cuando se usa; un benchmark congelado no puede ver la diferencia.
Calcular las respuestas de referencia a partir de un registro de solo adición hace que «¿era verdadero en ambos extremos?» sea verificable en lugar de supuesto.
Separar los errores de frescura de los errores de razonamiento orienta la depuración hacia la política de actualización en lugar del modelo.
La actualización programada acota la obsolescencia mediante el tiempo de vida, por lo que la antigüedad de la caché deja de ser la variable que importa.
La ablación aísla el mecanismo: eliminar la actualización por niveles eleva los errores de frescura de 4 a 45 a los 28 días.
Cuando los datos cambian por debajo de un sistema, puntuar la corrección en el momento de la recuperación y en el momento de la evaluación, y ajustar la actualización según la tasa de cambio de cada entidad, no según la antigüedad de la caché.
ChurnBench, el arnés de evaluación y todos los datos por error se publicaron como código abierto. El artículo se envió a arXiv el 10 de septiembre de 2026 y se revisó el 20 de septiembre de 2026.
CONSULTA LAS PRUEBAS