ChurnBench: 변경 원장으로 신선도 오류와 추론 오류를 분리하다

운영 환경에서 에이전트형 시스템은 여러 곳에 분산되어 계속 변하는 데이터에 대해 질문에 답한다. 기존 검색 벤치마크는 데이터를 고정하므로, 에이전트가 올바른 구절을 찾았는지만 물을 수 있을 뿐 그 답이 여전히 참인지는 물을 수 없다. 어제의 가격이나 이미 퇴사한 사용자의 권한을 인용하는 에이전트는 추론을 잘못하는 에이전트와 겉보기에 동일하다.

ChurnBench는 벤치마크를 시간 중심으로 재구성한다. 네 개의 소스로 이루어진 기업 데이터 패브릭을 스냅샷이 아닌 타임라인으로 생성하고, 모든 변경을 추가 전용 정답 원장에 기록하며, 실제 저장소가 아닌 그 원장으로부터 정답을 계산한다. 보고되는 모든 사례에 대해 두 시점 모두에서 정답을 확정하므로, 검색 시점에는 옳았으나 평가 시점에는 틀린 답을 포착하여 추론 오류와 구분되는 신선도 오류로 표시한다.

이 도구는 직관에 반하는 발견을 내놓았다. 시스템이 스케줄에 따라 갱신할 때, 캐시 수명은 신선도 저하를 예측하지 못한다. 캐시 수명 1일, 14일, 28일 전반에서 신선도 오류는 각각 7, 4, 4건이었는데, 이는 스케줄된 갱신이 TTL(time-to-live)로 신선도 저하를 제한하며 어느 구간에서도 TTL 만료가 관찰되지 않았기 때문이다. 통제된 절제 실험은 그 메커니즘을 확인한다. 계층형 갱신을 비활성화하면 28일에서 신선도 오류가 4건에서 45건으로 증가하지만, 1일에서는 동일하게 유지된다.

시스템 구축자를 위한 결론은 다음과 같다. 드리프트 벤치마크가 훑어야 할 변수는 드리프트 구간의 길이가 아니라, 각 엔터티의 변화율에 대응한 TTL 구성이다.

모든 사실을 추가 전용 원장에 기록하고 두 시점 모두에서 정답을 확정한다

답은 데이터를 가져온 시점에는 옳고 사용되는 시점에는 틀릴 수 있다. 고정된 벤치마크는 그 차이를 볼 수 없다.

추가 전용 원장으로부터 정답을 계산하면 '양 끝 시점 모두에서 참이었는가'를 가정이 아니라 검증 가능한 것으로 만든다.

신선도 오류를 추론 오류와 분리하면 디버깅의 초점이 모델이 아니라 갱신 정책을 향하게 된다.

스케줄된 갱신은 TTL로 신선도 저하를 제한하므로, 캐시 수명은 더 이상 중요한 변수가 아니다.

절제 실험은 메커니즘을 분리해 낸다. 계층형 갱신을 제거하면 28일에서 신선도 오류가 4건에서 45건으로 증가한다.

시스템 아래에서 데이터가 변할 때는 검색 시점과 평가 시점 모두에서 정확성을 채점하고, 캐시 수명이 아니라 각 엔터티의 변화율에 맞추어 갱신을 조정하라.

ChurnBench, 평가 하네스, 그리고 모든 오류별 데이터가 오픈 소스로 공개되었다. 논문은 2026년 9월 10일 arXiv에 제출되었고 2026년 9월 20일 개정되었다.