Selbstentwickelnde Laufzeit-Harnesses können LLM-Agenten erheblich verbessern, doch bestehende fehlergetriebene Ansätze behandeln jeden beobachteten Fehler als direkten Beleg für eine Harness-Modifikation. Ein Kernproblem: Ein Fehler kann entweder auf Grenzen des zugrunde liegenden Modells oder auf systematische Mängel des Harness zurückgehen, und die Optimierung anhand einzelner Fehler führt zu modellspezifischer Anpassung, die die Generalisierung über Aufgaben und Modelle hinweg beeinträchtigt.
Die Erkenntnis von Ecdysis ist, dass Fehler, die über verschiedene Aufgaben hinweg wiederkehren, stärkere induktive Belege für systematische Harness-Mängel liefern als isolierte Fehler. Es aggregiert Fehlerbelege über Aufgabeninstanzen hinweg, bevor wiederkehrende Fehlermuster in eine dauerhafte Harness-Weiterentwicklung überführt werden, und setzt auf kollaborative Fehleranalyse, um Modifikationsspezifikationen zu verfeinern.
Über mehrere LLMs und Benchmarks hinweg verbessert Ecdysis die Reasoning-Genauigkeit weiterentwickelter Harnesses um 18,56 % gegenüber bestehender Harness-Evolution und erreicht dabei bis zu 1,84-mal schnelleres Harness-Training mit dateneffizienterem Training. Eine feingranulare Analyse zeigt, dass es modellspezifische Anpassung während der Evolution verringert, und die resultierenden Harnesses weisen eine stärkere LLM-übergreifende Generalisierung sowie einen geringeren Tokenverbrauch zur Inferenzzeit auf.
Behandle Wiederkehr als Evidenzschwelle: Ein Fehler, der über verschiedene Aufgaben hinweg auftritt, ist eine Harness-Schuld; ein Einzelfall ist das Modell, das eben ein Modell ist
Fehler, die über verschiedene Aufgaben hinweg wiederkehren, sind stärkere induktive Belege für systematische Harness-Mängel als isolierte Fehler.
Zuerst zu aggregieren verhindert, dass die Eigenheiten eines einzelnen Modells in das Harness eingebrannt werden.
Kollaborative Fehleranalyse verfeinert Modifikationsspezifikationen, bevor Änderungen vorgenommen werden.
Die LLM-übergreifende Evaluierung zeigt, dass die Änderungen generalisieren, statt sich einem einzelnen Modell anzupassen.
Bevor ein System wegen eines Fehlers gepatcht wird, sollte man fragen, wie viele unabhängige Kontexte ihn hervorgebracht haben. Wiederkehr über Kontexte hinweg trennt Defekte des Gerüsts von Grenzen des zugrunde liegenden Arbeiters.
Am 10. September 2026 als v1-Preprint veröffentlicht (v2 am 20. September); berichtet über mehrere LLMs und Benchmarks hinweg mit feingranularer Analyse der verringerten modellspezifischen Anpassung. Kein Produktionseinsatz berichtet.
DEN BELEGEN FOLGEN
Die Quellen
- Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents arXiv Software Engineering · arxiv.org ·