長程語言模型代理會持續累積互動歷史,這提高了運算成本,也使相關資訊更難被保留與重用。既有的上下文管理著重於如何壓縮或檢索歷史,大致上仍未探討模型本身是否在這些記憶體操作發生之前,就已表徵出對它們的需求。

作者研究了每次代理動作之前的隱藏狀態,發現壓縮與回想需求早已編碼於模型的內部表徵中。這些訊號無法以單純的上下文長度或互動進度來解釋,且在模型深度上呈現出不同的形成模式。他們也發現,多數記憶體決策資訊在精簡的近期上下文中仍得以保留,而選擇性還原的歷史證據則涵蓋了近期上下文所遺漏的長程依賴關係。

基於這些發現,PaMER 結合了狀態引導的壓縮與證據檢索,而 PaMER+ 則額外加入步驟層級的證據選擇。在 WorkBuddyBench 上,於多個上下文管理基線與模型主幹之間,該框架大幅降低了上下文消耗,同時維持了具競爭力的任務表現。

模型早已在需要記憶體時發出訊號——讀取該狀態

從內部狀態引導記憶體,是在上下文劣化之前就介入,而非事後補救。

這些訊號與上下文長度不同,因此它們帶有基於長度的啟發式方法所遺漏的資訊。

近期上下文已包含多數記憶體決策;檢索只需填補特定的缺口。

步驟層級的選擇使還原的證據與當前步驟所需保持相稱。

內部狀態往往能預先反映系統將需要的操作;預測需求勝於對上下文長度這類表面症狀作出反應。

在 WorkBuddyBench 上,於多個上下文管理基線與模型主幹之間,該框架大幅降低了上下文消耗,同時維持了具競爭力的任務表現。

追溯依據

參考來源

  1. Memory Control Signals Emerge Before Action in Long Horizon Agents arXiv · arxiv.org ·