Sprachmodell-Agenten mit langem Horizont sammeln fortlaufend Interaktionsverlauf an, was die Rechenkosten erhöht und es schwieriger macht, relevante Informationen zu bewahren und wiederzuverwenden. Die bestehende Kontextverwaltung konzentriert sich darauf, wie Verlauf komprimiert oder abgerufen werden kann, und lässt weitgehend offen, ob das Modell selbst den Bedarf für diese Speicheroperationen bereits vor deren Auftreten repräsentiert.
Die Autoren untersuchten den verborgenen Zustand unmittelbar vor jeder Agentenaktion und stellten fest, dass Kompressions- und Abrufbedarf bereits in den internen Repräsentationen des Modells kodiert sind. Die Signale lassen sich nicht durch einfache Kontextlänge oder Interaktionsfortschritt erklären und weisen über die Modelltiefe hinweg unterschiedliche Ausprägungsmuster auf. Sie stellten außerdem fest, dass die meisten Informationen für Speicherentscheidungen in einem kompakten aktuellen Kontext erhalten bleiben, wobei selektiv wiederhergestellte historische Belege die langreichweitigen Abhängigkeiten abdecken, die dem aktuellen Kontext fehlen.
Auf Grundlage dieser Befunde kombiniert PaMER zustandsgesteuerte Kompression mit Belegabruf, und PaMER+ ergänzt eine Belegauswahl auf Schrittebene. Auf WorkBuddyBench reduzierte das Framework über mehrere Kontextverwaltungs-Baselines und Modell-Backbones hinweg den Kontextverbrauch erheblich, während die Aufgabenleistung wettbewerbsfähig blieb.
Das Modell signalisiert bereits, wann es Speicher benötigen wird – lies den Zustand
Die Steuerung des Speichers aus internen Zuständen heraus wirkt, bevor der Kontext sich verschlechtert, nicht danach.
Die Signale unterscheiden sich von der Kontextlänge und tragen daher Informationen, die längenbasierten Heuristiken fehlen.
Der aktuelle Kontext enthält bereits die meisten Speicherentscheidungen; der Abruf muss nur bestimmte Lücken füllen.
Die Auswahl auf Schrittebene hält die wiederhergestellten Belege im Verhältnis zu dem, was der aktuelle Schritt erfordert.
Interne Zustände antizipieren häufig die Operationen, die ein System benötigen wird; den Bedarf vorherzusagen ist besser, als auf oberflächliche Symptome wie die Kontextlänge zu reagieren.
Auf WorkBuddyBench reduzierte das Framework über mehrere Kontextverwaltungs-Baselines und Modell-Backbones hinweg den Kontextverbrauch erheblich, während die Aufgabenleistung wettbewerbsfähig blieb.
DEN BELEGEN FOLGEN
Die Quellen
- Memory Control Signals Emerge Before Action in Long Horizon Agents arXiv · arxiv.org ·