Los agentes de modelos de lenguaje de horizonte largo siguen acumulando historial de interacción, lo que eleva el costo computacional y hace que la información relevante sea más difícil de preservar y reutilizar. La gestión de contexto existente se centra en cómo comprimir o recuperar el historial, y en gran medida deja abierto si el propio modelo ya representa la necesidad de esas operaciones de memoria antes de que ocurran.
Los autores estudiaron el estado oculto inmediatamente antes de cada acción del agente y encontraron que las necesidades de compresión y recuperación ya están codificadas en las representaciones internas del modelo. Las señales no pueden explicarse por la simple longitud del contexto ni por el progreso de la interacción, y exhiben patrones de formación distintos a lo largo de la profundidad del modelo. También encontraron que la mayor parte de la información de decisión de memoria sobrevive en un contexto reciente compacto, con evidencia histórica restaurada de forma selectiva que cubre las dependencias de largo alcance que el contexto reciente pasa por alto.
Con base en estos hallazgos, PaMER combina compresión guiada por estados con recuperación de evidencia, y PaMER+ añade selección de evidencia a nivel de paso. En WorkBuddyBench, en múltiples líneas base de gestión de contexto y modelos de respaldo, el marco redujo sustancialmente el consumo de contexto mientras mantenía un rendimiento competitivo en las tareas.
El modelo ya señala cuándo necesitará memoria: leer el estado
Dirigir la memoria desde los estados internos actúa antes de que el contexto se degrade, no después.
Las señales son distintas de la longitud del contexto, por lo que portan información que las heurísticas basadas en la longitud pasan por alto.
El contexto reciente ya contiene la mayoría de las decisiones de memoria; la recuperación solo necesita cubrir brechas específicas.
La selección a nivel de paso mantiene la evidencia restaurada proporcional a lo que requiere el paso actual.
Los estados internos a menudo anticipan las operaciones que un sistema necesitará; predecir la necesidad supera a reaccionar ante síntomas superficiales como la longitud del contexto.
En WorkBuddyBench el marco redujo sustancialmente el consumo de contexto mientras mantenía un rendimiento competitivo en las tareas en múltiples líneas base de gestión de contexto y modelos de respaldo.
CONSULTA LAS PRUEBAS
Las fuentes
- Memory Control Signals Emerge Before Action in Long Horizon Agents arXiv · arxiv.org ·