PaMER lit les besoins de mémoire dans les états cachés de l'agent avant que les actions ne soient entreprises

Les agents de modèles de langage à horizon long accumulent sans cesse l'historique des interactions, ce qui augmente le coût computationnel et rend les informations pertinentes plus difficiles à préserver et à réutiliser. La gestion de contexte existante se concentre sur la manière de compresser ou de récupérer l'historique, laissant largement ouverte la question de savoir si le modèle lui-même représente déjà le besoin de ces opérations de mémoire avant qu'elles ne se produisent.

Les auteurs ont étudié l'état caché immédiatement avant chaque action de l'agent et ont constaté que les besoins de compression et de rappel sont déjà encodés dans les représentations internes du modèle. Les signaux ne peuvent pas être expliqués par la simple longueur du contexte ou par l'avancement de l'interaction et présentent des schémas de formation distincts selon la profondeur du modèle. Ils ont également constaté que la majeure partie de l'information de décision mémorielle subsiste dans un contexte récent compact, les preuves historiques restaurées de manière sélective couvrant les dépendances à longue portée que le contexte récent manque.

Sur la base de ces constats, PaMER combine une compression guidée par l'état avec une récupération de preuves, et PaMER+ ajoute une sélection de preuves au niveau de l'étape. Sur WorkBuddyBench, à travers plusieurs références de gestion de contexte et modèles de base, le cadre a sensiblement réduit la consommation de contexte tout en maintenant des performances de tâche compétitives.

Le modèle signale déjà quand il aura besoin de mémoire — lisez l'état

Orienter la mémoire à partir des états internes agit avant que le contexte ne se dégrade, et non après.

Les signaux sont distincts de la longueur du contexte, de sorte qu'ils portent une information que les heuristiques fondées sur la longueur manquent.

Le contexte récent contient déjà la plupart des décisions mémorielles ; la récupération n'a besoin que de combler des lacunes spécifiques.

La sélection au niveau de l'étape maintient les preuves restaurées proportionnées à ce qu'exige l'étape en cours.

Les états internes anticipent souvent les opérations dont un système aura besoin ; prédire le besoin vaut mieux que réagir à des symptômes de surface comme la longueur du contexte.

Sur WorkBuddyBench, le cadre a sensiblement réduit la consommation de contexte tout en maintenant des performances de tâche compétitives à travers plusieurs références de gestion de contexte et modèles de base.