In der Produktion beantworten agentische Systeme Fragen über Daten, die an mehreren Orten liegen und sich ständig ändern. Bestehende Retrieval-Benchmarks frieren die Daten ein, sodass sie nur fragen können, ob ein Agent die richtige Passage gefunden hat – nicht, ob die Antwort noch wahr ist. Ein Agent, der den gestrigen Preis oder die Berechtigungen eines ausgeschiedenen Nutzers zitiert, sieht identisch aus wie einer, der schlecht denkt.
ChurnBench baut den Benchmark um die Zeit herum neu auf. Es erzeugt einen unternehmensweiten Datenverbund aus vier Quellen als Zeitlinie statt als Momentaufnahme, schreibt jede Änderung in ein ausschließlich anhängendes Ground-Truth-Journal und berechnet Goldantworten aus diesem Journal statt aus den Live-Speichern. Die Ground Truth wird für jeden gemeldeten Fall zu beiden Zeitstempeln aufgelöst, sodass eine Antwort, die beim Abruf korrekt, bei der Bewertung aber falsch war, erkannt und als Aktualitätsfehler gekennzeichnet wird, getrennt von einem Denkfehler.
Das Instrument lieferte einen kontraintuitiven Befund: Wenn ein System nach einem Zeitplan aktualisiert, sagt das Cache-Alter die Veraltung nicht voraus. Über Cache-Alter von 1, 14 und 28 Tagen betrugen die Aktualitätsfehler 7, 4 und 4, weil die geplante Aktualisierung die Veraltung durch die Time-to-Live begrenzt und in keinem Fenster ein TTL-Ablauf beobachtet wurde. Eine kontrollierte Ablation bestätigt den Mechanismus: Das Deaktivieren der gestaffelten Aktualisierung erhöht die Aktualitätsfehler bei 28 Tagen von 4 auf 45, während sie bei einem Tag identisch bleiben.
Die Schlussfolgerung für Systementwickler: Die Variable, die ein Drift-Benchmark variieren sollte, ist die TTL-Konfiguration im Verhältnis zur Änderungsrate jeder Entität, nicht die Länge des Drift-Fensters.
Jede Tatsache in einem ausschließlich anhängenden Journal festhalten und Goldantworten zu beiden Zeitstempeln auflösen
Eine Antwort kann richtig sein, wenn ihre Daten abgerufen wurden, und falsch, wenn sie verwendet wird; ein eingefrorener Benchmark kann den Unterschied nicht sehen.
Goldantworten aus einem ausschließlich anhängenden Journal zu berechnen macht „war es an beiden Enden wahr“ überprüfbar statt angenommen.
Die Trennung von Aktualitätsfehlern und Denkfehlern lenkt das Debugging auf die Aktualisierungsrichtlinie statt auf das Modell.
Die geplante Aktualisierung begrenzt die Veraltung durch die Time-to-Live, sodass das Cache-Alter aufhört, die entscheidende Variable zu sein.
Die Ablation isoliert den Mechanismus: Das Entfernen der gestaffelten Aktualisierung erhöht die Aktualitätsfehler bei 28 Tagen von 4 auf 45.
Wenn sich Daten unter einem System ändern, die Korrektheit zum Abrufzeitpunkt und zum Bewertungszeitpunkt bewerten und die Aktualisierung nach der Änderungsrate jeder Entität abstimmen, nicht nach dem Cache-Alter.
ChurnBench, die Evaluierungs-Harness und alle Daten pro Fehler wurden als Open Source veröffentlicht. Das Paper wurde am 10. September 2026 bei arXiv eingereicht und am 20. September 2026 überarbeitet.
DEN BELEGEN FOLGEN