自我演化的執行時框架能大幅改善 LLM 代理,但既有的失敗驅動方法把每一次觀察到的失敗都當成修改框架的直接證據。關鍵問題在於:一次失敗可能反映底層模型的限制,也可能反映框架的系統性缺陷,而針對個別失敗進行最佳化會導致針對特定模型的遷就,損害跨任務與跨模型的泛化能力。

Ecdysis 的洞見是:在不同任務間反覆出現的失敗,比孤立失敗更能提供系統性框架缺陷的歸納證據。它會先彙整跨任務實例的失敗證據,再將反覆出現的失敗模式提升為持久的框架演化,並採用協作式失敗分析來精煉修改規格。

在多個 LLM 與基準測試上,Ecdysis 將演化後框架的推理準確率較既有框架演化提升 18.56%,同時框架訓練速度最高快 1.84 倍,且訓練更具資料效率。細粒度分析顯示,它減少了演化過程中對特定模型的遷就,所得框架展現更強的跨 LLM 泛化能力,且推論時的 token 消耗更低。

把反覆出現當作證據門檻:在不同任務間都出現的失敗是框架債務;一次性失敗只是模型本色

在不同任務間反覆出現的失敗,比孤立失敗更能作為系統性框架缺陷的歸納證據。

先彙整可避免把單一模型的怪癖固化進框架。

協作式失敗分析會在修改落地前精煉修改規格。

跨 LLM 評估顯示這些修改能泛化,而非遷就單一模型。

在針對某次失敗修補系統之前,先問有多少個獨立情境產生了這次失敗。跨情境的反覆出現,能把腳手架的缺陷與底層工作者的限制區分開來。

於 2026 年 9 月 10 日以 v1 預印本發布(9 月 20 日發布 v2);報告涵蓋多個 LLM 與基準測試,並對減少特定模型遷就進行細粒度分析。未報告生產環境部署。

追溯依據

參考來源

  1. Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents arXiv Software Engineering · arxiv.org ·