O PaMER lê as necessidades de memória a partir dos estados ocultos do agente antes que as ações sejam tomadas

Agentes de modelos de linguagem de horizonte longo continuam acumulando histórico de interação, o que eleva o custo computacional e torna a informação relevante mais difícil de preservar e reutilizar. O gerenciamento de contexto existente concentra-se em como comprimir ou recuperar o histórico, deixando em grande parte em aberto se o próprio modelo já representa a necessidade dessas operações de memória antes que elas ocorram.

Os autores estudaram o estado oculto imediatamente antes de cada ação do agente e descobriram que as necessidades de compressão e de recuperação já estão codificadas nas representações internas do modelo. Os sinais não podem ser explicados pelo simples comprimento do contexto ou pelo progresso da interação e exibem padrões de formação distintos ao longo da profundidade do modelo. Também descobriram que a maior parte da informação de decisão de memória sobrevive em um contexto recente compacto, com evidências históricas seletivamente restauradas cobrindo as dependências de longo alcance que o contexto recente deixa de fora.

Com base nessas descobertas, o PaMER combina compressão guiada pelo estado com recuperação de evidências, e o PaMER+ acrescenta seleção de evidências em nível de etapa. No WorkBuddyBench, em várias linhas de base de gerenciamento de contexto e modelos de base, a estrutura reduziu substancialmente o consumo de contexto, mantendo um desempenho competitivo na tarefa.

O modelo já sinaliza quando precisará de memória — leia o estado

Conduzir a memória a partir de estados internos age antes que o contexto se degrade, não depois.

Os sinais são distintos do comprimento do contexto, portanto carregam informação que heurísticas baseadas em comprimento deixam passar.

O contexto recente já contém a maior parte das decisões de memória; a recuperação só precisa preencher lacunas específicas.

A seleção em nível de etapa mantém a evidência restaurada proporcional ao que a etapa atual exige.

Os estados internos frequentemente antecipam as operações de que um sistema precisará; prever a necessidade supera reagir a sintomas superficiais como o comprimento do contexto.

No WorkBuddyBench, a estrutura reduziu substancialmente o consumo de contexto, mantendo um desempenho competitivo na tarefa em várias linhas de base de gerenciamento de contexto e modelos de base.