해결책
자기 진화하는 런타임 하네스는 LLM 에이전트를 상당히 개선할 수 있지만, 기존의 실패 기반 접근법은 관찰된 각 실패를 하네스 수정의 직접적 증거로 취급한다. 핵심 문제는 실패가 기반 모델의 한계를 반영할 수도 있고 하네스의 체계적 결함을 반영할 수도 있다는 점이며, 개별 실패에 맞춰 최적화하면 모델 특화 적응이 유발되어 과제와 모델 전반에 걸친 일반화가 저해된다.
Ecdysis의 통찰은 서로 다른 과제에서 반복되는 실패가 고립된 실패보다 체계적 하네스 결함에 대한 더 강한 귀납적 증거를 제공한다는 것이다. 이는 반복되는 실패 패턴을 지속적인 하네스 진화로 승격시키기 전에 과제 인스턴스 전반의 실패 증거를 집계하며, 협업적 실패 분석을 통해 수정 명세를 정교화한다.
여러 LLM과 벤치마크에서 Ecdysis는 기존 하네스 진화 대비 진화된 하네스의 추론 정확도를 18.56% 향상시키고, 최대 1.84배 더 빠른 하네스 학습을 달성하며 데이터 효율성도 더 높다. 세밀한 분석에 따르면 진화 과정에서 모델 특화 적응을 줄이며, 결과로 얻어진 하네스는 더 강한 교차 LLM 일반화와 더 낮은 추론 시 토큰 소비를 보인다.
달성한 성과
반복성을 증거의 기준으로 삼는다: 서로 다른 과제에서 나타난 실패는 하네스 부채이고, 일회성 실패는 모델이 모델일 뿐인 것이다
서로 다른 과제에서 반복되는 실패는 고립된 실패보다 체계적 하네스 결함에 대한 더 강한 귀납적 증거이다.
먼저 집계하면 한 모델의 특이성이 하네스에 각인되는 것을 막는다.
협업적 실패 분석은 수정이 반영되기 전에 수정 명세를 정교화한다.
교차 LLM 평가는 수정이 단일 모델에 적응하는 대신 일반화됨을 보여준다.
실패를 둘러싸고 시스템을 패치하기 전에, 그 실패를 만들어낸 독립적 맥락이 몇 개인지 물어라. 맥락 전반의 반복성은 스캐폴딩의 결함과 기반 작업자의 한계를 구분해 준다.
후속 경과
2026년 9월 10일 v1 프리프린트로 게시되었으며(v2는 9월 20일), 여러 LLM과 벤치마크에서 보고되었고 모델 특화 적응 감소에 대한 세밀한 분석이 포함되었다. 보고된 실제 배포 사례는 없다.
근거 확인하기
출처
- Ecdysis: Efficient and Effective Training of Runtime Harnesses for LLM Agents arXiv Software Engineering · arxiv.org ·