해결책
오래 걸리는 도구가 코딩 에이전트의 지연 시간을 지배한다. 컴파일러, 테스트 스위트, 저장소 명령은 수 초에서 수 분이 걸리는 동안 에이전트는 유휴 상태로 기다린다. 이 관찰된 정체는 비순차 프로세서를 탄생시킨 것과 같은 긴장이다. 순차적 인터페이스는 예측하고 미리 시작할 수 있는 작업을 숨기지만, 투기적 결과는 그것과 그 이전의 모든 단계가 검증된 뒤에야 비로소 가시화될 수 있다.
TomasuLLM은 CPU의 해답을 LLM 에이전트에 적용한다. 이 런타임은 작업 실행의 정확성을 유지하면서 에이전트 도구 호출을 궤적 순서와 다르게 실행한다. 미래의 동작을 초안으로 작성하고, 격리된 copy-on-write 샌드박스에서 실행하며, 그 의존성과 효과를 추적하고, 커밋된 상태에 대한 검증을 거친 뒤에만 궤적 순서대로 결과를 커밋한다.
1초 미만에서 수 분에 이르는 도구 호출을 아우르는 세 가지 벤치마크에서 속도 향상은 도구 지연 시간에 비례해 확대되었다. 100개의 SWE-bench Verified 작업에서 1.31배, 28개의 Terminal-Bench 2.0 작업에서 1.35배, 18개의 SWE-Marathon 세션에서 1.27배의 동등한 진행을 보였다. 감사된 4,010건의 커밋 검증 기록 전반에서 런타임은 오탐 수락을 0건 생성했다. 즉, 어떤 투기적 결과도 실제인 것처럼 커밋된 적이 없다.
달성한 것
에이전트 궤적을 명령어 스트림처럼 다루라: 앞서 투기하고, 순서대로 커밋하라
코딩 에이전트의 실제 경과 시간을 지배하는 것은 모델 속도가 아니라 도구 지연 시간이다.
순차적 궤적 인터페이스는 에이전트가 도달하기 전에 예측하고 시작할 수 있는 도구 작업을 숨긴다.
copy-on-write 샌드박스는 잘못된 투기를 파국이 아니라 폐기 가능한 것으로 만든다.
검증 후 궤적 순서대로 커밋하면 가시적 동작은 순차적으로 유지하면서 속도 향상도 유지된다.
오래된 하드웨어 기법은 통한다. 파이프라인이 느린 단계에서 정체되면 작업을 예측하고, 폐기 가능한 복사본에서 앞서 실행하며, 검증을 가시성의 관문으로 삼으라.
그 후
논문은 100개의 SWE-bench Verified 작업, 28개의 Terminal-Bench 2.0 작업, 18개의 SWE-Marathon 세션에서의 결과를 보고하며, 감사된 4,010건의 커밋 검증 기록 전반에서 오탐 수락은 0건이었다. 버전 2는 2026년 10월 1일 arXiv에 게시되었다.
근거 확인하기
출처
- TomasuLLM: Out-of-Order Speculative Execution for LLM Agents arXiv · arxiv.org ·