ChurnBench 以變更帳本將新鮮度錯誤與推理錯誤分開

在生產環境中，代理式系統要回答的問題所依據的資料分散於多處，且持續變動。既有的檢索基準會凍結資料，因此只能檢驗代理是否找到正確段落，而無法檢驗答案是否仍然成立。一個引用昨日價格或已離職使用者權限的代理，與一個推理拙劣的代理看起來並無二致。

ChurnBench 以時間為軸重建基準。它將四來源的企業資料織體生成為一條時間軸而非快照，把每一次變更寫入僅可追加的標準答案帳本，並從該帳本而非即時儲存庫計算標準答案。每個回報案例的標準答案都會在兩個時間點分別解析，因此一個在檢索時正確、在評估時卻錯誤的答案會被捕捉到，並標記為新鮮度錯誤，與推理錯誤分開。

這套工具得出一個反直覺的發現：當系統依排程重新整理時，快取年齡無法預測過時程度。在快取年齡為 1 天、14 天與 28 天的情況下，新鮮度錯誤分別為 7、4、4，因為排程式重新整理以存留時間（TTL）界定過時程度的上限，且在任何觀察窗內都未出現 TTL 逾期。一項受控消融實驗確認了此機制：在 28 天時停用分層重新整理會使新鮮度錯誤從 4 升至 45，而在 1 天時則維持不變。

對系統建構者的結論是：漂移基準應掃掠的變數，是相對於每個實體變動率的 TTL 設定，而非漂移窗長度。

將每一項事實蓋章寫入僅可追加的帳本，並在兩個時間點分別解析標準答案

一個答案在其資料被取得時可能正確，在使用時卻已錯誤；凍結的基準無法看出其中差異。

從僅可追加的帳本計算標準答案，使「兩端是否皆為真」成為可檢驗而非假設的事。

將新鮮度錯誤與推理錯誤分開，使除錯指向重新整理策略而非模型。

排程式重新整理以存留時間界定過時程度的上限，因此快取年齡不再是關鍵變數。

消融實驗隔離出此機制：移除分層重新整理會使 28 天時的新鮮度錯誤從 4 升至 45。

當資料在系統底下變動時，應分別在檢索時與評估時評分正確性，並依每個實體的變動率而非快取年齡來調整重新整理。

ChurnBench、評估框架及所有逐錯誤資料均已開源釋出。論文於 2026 年 9 月 10 日提交至 arXiv，並於 2026 年 9 月 20 日修訂。