En production, les systèmes agentiques répondent à des questions portant sur des données qui résident en plusieurs endroits et ne cessent de changer. Les benchmarks de récupération existants figent les données, de sorte qu'ils ne peuvent demander que si un agent a trouvé le bon passage — pas si la réponse est encore vraie. Un agent qui cite le prix de la veille ou les autorisations d'un utilisateur parti est indiscernable d'un agent qui raisonne mal.
ChurnBench reconstruit le benchmark autour du temps. Il génère une toile de données d'entreprise à quatre sources sous forme de chronologie plutôt que d'instantané, consigne chaque modification dans un registre de vérité terrain en ajout seul, et calcule les réponses de référence à partir de ce registre plutôt qu'à partir des magasins en direct. La vérité terrain est résolue aux deux horodatages pour chaque cas signalé, de sorte qu'une réponse correcte au moment de la récupération mais erronée au moment de l'évaluation est détectée et étiquetée comme erreur de fraîcheur, distincte d'une erreur de raisonnement.
L'instrument a produit un résultat contre-intuitif : lorsqu'un système se rafraîchit selon un calendrier, l'âge du cache ne prédit pas l'obsolescence. Sur des âges de cache de 1, 14 et 28 jours, les erreurs de fraîcheur étaient de 7, 4 et 4, car le rafraîchissement planifié borne l'obsolescence par la durée de vie et aucune expiration de TTL n'a été observée dans quelque fenêtre que ce soit. Une ablation contrôlée confirme le mécanisme : désactiver le rafraîchissement à plusieurs niveaux fait passer les erreurs de fraîcheur de 4 à 45 à 28 jours, tout en les laissant identiques à un jour.
La conclusion pour les concepteurs de systèmes : la variable qu'un benchmark de dérive devrait balayer est la configuration du TTL en regard du taux de changement de chaque entité, et non la longueur de la fenêtre de dérive.
Horodater chaque fait dans un registre en ajout seul et résoudre les réponses de référence aux deux horodatages
Une réponse peut être juste au moment où ses données ont été récupérées et fausse au moment où elle est utilisée ; un benchmark figé ne peut pas voir la différence.
Calculer les réponses de référence à partir d'un registre en ajout seul rend vérifiable, plutôt que supposé, le fait de savoir si elles étaient vraies aux deux extrémités.
Séparer les erreurs de fraîcheur des erreurs de raisonnement oriente le débogage vers la politique de rafraîchissement plutôt que vers le modèle.
Le rafraîchissement planifié borne l'obsolescence par la durée de vie, de sorte que l'âge du cache cesse d'être la variable qui compte.
L'ablation isole le mécanisme : retirer le rafraîchissement à plusieurs niveaux fait passer les erreurs de fraîcheur de 4 à 45 à 28 jours.
Lorsque les données changent sous un système, évaluer l'exactitude au moment de la récupération et au moment de l'évaluation, et régler le rafraîchissement selon le taux de changement de chaque entité, et non selon l'âge du cache.
Suites
ChurnBench, le harnais d'évaluation et toutes les données par erreur ont été publiés en open source. L'article a été soumis à arXiv le 10 septembre 2026 et révisé le 20 septembre 2026.
VÉRIFIEZ LES SOURCES