Ecdysisは複数のタスクで再発する失敗のみからLLMエージェントのハーネスを進化させる

自己進化するランタイムハーネスはLLMエージェントを大幅に改善し得るが、既存の失敗駆動型アプローチは観測された各失敗をハーネス変更の直接的な証拠として扱う。重要な問題は、失敗が基盤モデルの限界を反映する場合とハーネスの体系的な欠陥を反映する場合のいずれもあり得ることであり、個々の失敗に対して最適化するとモデル固有の適応を引き起こし、タスクやモデルをまたいだ汎化を損なう。

Ecdysisの洞察は、異なるタスクをまたいで再発する失敗が、孤立した失敗よりも体系的なハーネス欠陥に対する強い帰納的証拠を提供するという点にある。タスクインスタンスをまたいで失敗の証拠を集約してから、再発する失敗パターンを永続的なハーネス進化へと昇格させ、協調的な失敗分析を用いて変更仕様を洗練させる。

複数のLLMとベンチマークにおいて、Ecdysisは進化したハーネスの推論精度を既存のハーネス進化と比べて18.56%向上させ、同時に最大1.84倍高速なハーネス訓練を達成し、訓練のデータ効率も高い。詳細な分析により、進化の過程でモデル固有の適応が減少し、得られたハーネスがより強いLLM間汎化とより低い推論時のトークン消費を示すことが明らかになった。

再発を証拠の閾値として扱う。異なるタスクをまたいで見られる失敗はハーネスの負債であり、単発の失敗はモデルがモデルであることにすぎない。

異なるタスクをまたいで再発する失敗は、孤立した失敗よりも体系的なハーネス欠陥の強い帰納的証拠となる。

まず集約することで、あるモデルの癖がハーネスに焼き込まれるのを防ぐ。

協調的な失敗分析により、変更が適用される前に変更仕様を洗練させる。

LLM間評価は、変更が単一モデルへの適応ではなく汎化することを示す。

ある失敗をめぐってシステムにパッチを当てる前に、その失敗を生み出した独立したコンテキストがいくつあったかを問う。コンテキストをまたいだ再発は、足場の欠陥と基盤となる作業者の限界を区別する。

2026年9月10日にv1プレプリントとして公開され（v2は9月20日）、複数のLLMとベンチマークにわたり、モデル固有の適応の減少に関する詳細な分析とともに報告された。本番環境への展開は報告されていない。