PaMER는 행동이 취해지기 전에 에이전트의 은닉 상태에서 메모리 요구를 읽는다

장기 지평 언어 모델 에이전트는 상호작용 이력을 계속 축적하며, 이는 계산 비용을 높이고 관련 정보를 보존하고 재사용하기 어렵게 만든다. 기존의 컨텍스트 관리는 이력을 어떻게 압축하거나 검색할지에 초점을 맞추며, 모델 자체가 그러한 메모리 연산의 필요성을 발생 전에 이미 표현하고 있는지는 대체로 열린 문제로 남겨두었다.

저자들은 각 에이전트 행동 직전의 은닉 상태를 연구했고, 압축과 회상의 필요성이 이미 모델의 내부 표현에 인코딩되어 있음을 발견했다. 이 신호들은 단순한 컨텍스트 길이나 상호작용 진행도로 설명될 수 없으며, 모델 깊이에 따라 뚜렷한 형성 패턴을 보인다. 또한 대부분의 메모리 결정 정보는 압축된 최근 컨텍스트에 남아 있으며, 선택적으로 복원된 과거 증거가 최근 컨텍스트가 놓치는 장거리 의존성을 포괄한다는 점도 발견했다.

이러한 발견을 바탕으로 PaMER는 상태 기반 압축과 증거 검색을 결합하며, PaMER+는 단계 수준의 증거 선택을 추가한다. WorkBuddyBench에서 여러 컨텍스트 관리 기준선과 모델 백본에 걸쳐, 이 프레임워크는 경쟁력 있는 작업 성능을 유지하면서 컨텍스트 소비를 상당히 줄였다.

모델은 언제 메모리가 필요할지 이미 신호를 보낸다 — 상태를 읽어라

내부 상태로부터 메모리를 조정하는 것은 컨텍스트가 악화된 후가 아니라 그 전에 작동한다.

신호는 컨텍스트 길이와 구별되므로, 길이 기반 휴리스틱이 놓치는 정보를 담고 있다.

최근 컨텍스트가 이미 대부분의 메모리 결정을 담고 있으므로, 검색은 특정 공백만 채우면 된다.

단계 수준 선택은 복원된 증거를 현재 단계가 요구하는 것에 비례하게 유지한다.

내부 상태는 종종 시스템이 필요로 할 연산을 미리 예측한다; 필요를 예측하는 것이 컨텍스트 길이 같은 표면적 증상에 반응하는 것보다 낫다.

WorkBuddyBench에서 이 프레임워크는 여러 컨텍스트 관리 기준선과 모델 백본에 걸쳐 경쟁력 있는 작업 성능을 유지하면서 컨텍스트 소비를 상당히 줄였다.