Em produção, sistemas agênticos respondem a perguntas sobre dados que residem em vários lugares e mudam continuamente. Os benchmarks de recuperação existentes congelam os dados, de modo que só podem perguntar se um agente encontrou a passagem correta — não se a resposta ainda é verdadeira. Um agente que cita o preço de ontem ou as permissões de um usuário que já saiu parece idêntico a um que raciocina mal.
O ChurnBench reconstrói o benchmark em torno do tempo. Ele gera uma malha de dados empresariais de quatro fontes como uma linha do tempo, e não como um instantâneo, registra cada mudança em um livro-razão de verdade fundamental somente de acréscimo e calcula as respostas gabarito a partir desse livro-razão, em vez dos armazenamentos ao vivo. A verdade fundamental é resolvida em ambos os carimbos de tempo para cada caso relatado, de modo que uma resposta correta no momento da recuperação mas errada no momento da avaliação é detectada e rotulada como erro de atualidade, separado de um erro de raciocínio.
O instrumento produziu um achado contraintuitivo: quando um sistema atualiza segundo um agendamento, a idade do cache não prediz a desatualização. Em idades de cache de 1, 14 e 28 dias, os erros de atualidade foram 7, 4 e 4, porque a atualização agendada limita a desatualização pelo tempo de vida (TTL) e nenhuma expiração de TTL foi observada em qualquer janela. Uma ablação controlada confirma o mecanismo: desativar a atualização em camadas eleva os erros de atualidade de 4 para 45 em 28 dias, mantendo-os idênticos em um dia.
A conclusão para os construtores de sistemas: a variável que um benchmark de deriva deveria varrer é a configuração de TTL em relação à taxa de mudança de cada entidade, não a duração da janela de deriva.
Carimbar cada fato em um livro-razão somente de acréscimo e resolver as respostas gabarito em ambos os carimbos de tempo
Uma resposta pode estar certa quando seus dados foram buscados e errada quando é usada; um benchmark congelado não consegue ver a diferença.
Calcular as respostas gabarito a partir de um livro-razão somente de acréscimo torna "era verdadeiro em ambas as pontas" verificável em vez de presumido.
Separar erros de atualidade de erros de raciocínio direciona a depuração para a política de atualização, e não para o modelo.
A atualização agendada limita a desatualização pelo tempo de vida, de modo que a idade do cache deixa de ser a variável que importa.
A ablação isola o mecanismo: remover a atualização em camadas eleva os erros de atualidade de 4 para 45 em 28 dias.
Quando os dados mudam por baixo de um sistema, pontue a correção no momento da recuperação e no momento da avaliação, e ajuste a atualização pela taxa de mudança de cada entidade, não pela idade do cache.
O ChurnBench, o arcabouço de avaliação e todos os dados por erro foram disponibilizados em código aberto. O artigo foi submetido ao arXiv em 10 de setembro de 2026 e revisado em 20 de setembro de 2026.
CONFIRA AS EVIDÊNCIAS