PaMERは行動前にエージェントの隠れ状態からメモリ需要を読み取る

長期的な視野を持つ言語モデルエージェントは相互作用の履歴を蓄積し続けるため、計算コストが増大し、関連情報の保持と再利用が難しくなる。既存のコンテキスト管理は履歴をどのように圧縮または検索するかに焦点を当てており、モデル自体がそれらのメモリ操作の必要性を事前に表現しているかどうかはほとんど未解明のままである。

著者らは各エージェント行動の直前の隠れ状態を調べ、圧縮と想起の必要性がすでにモデルの内部表現に符号化されていることを見出した。この信号は単純なコンテキスト長や相互作用の進行度では説明できず、モデルの深さに応じて異なる形成パターンを示す。また、メモリ決定に関する情報の大部分はコンパクトな直近コンテキストに残存しており、選択的に復元された履歴証拠が直近コンテキストでは捉えきれない長距離依存関係を補完することも見出した。

これらの知見に基づき、PaMERは状態誘導型の圧縮と証拠検索を組み合わせ、PaMER+はステップ単位の証拠選択を追加する。WorkBuddyBenchにおいて、複数のコンテキスト管理ベースラインとモデルバックボーンにわたり、このフレームワークは競争力のあるタスク性能を維持しつつコンテキスト消費を大幅に削減した。

モデルはメモリが必要になる時をすでに信号として発している — 状態を読み取れ

内部状態からのメモリ誘導は、コンテキストが劣化した後ではなく、その前に作用する。

この信号はコンテキスト長とは異なるため、長さに基づくヒューリスティックが見逃す情報を運んでいる。

直近コンテキストにはすでにメモリ決定の大部分が含まれており、検索は特定のギャップを埋めるだけでよい。

ステップ単位の選択により、復元される証拠は現在のステップが必要とする量に比例して保たれる。

内部状態はシステムが必要とする操作をしばしば先取りしている。必要性を予測することは、コンテキスト長のような表面的な症状に反応するよりも優れている。

WorkBuddyBenchにおいて、このフレームワークは複数のコンテキスト管理ベースラインとモデルバックボーンにわたり、競争力のあるタスク性能を維持しつつコンテキスト消費を大幅に削減した。