Lang laufende Tools dominieren die Latenz von Coding-Agenten: Compiler, Test-Suites und Repository-Befehle dauern Sekunden bis Minuten, während der Agent untätig wartet. Dieser Stillstand ist dieselbe Spannung, die Out-of-Order-Prozessoren hervorbrachte – eine sequenzielle Schnittstelle verbirgt Arbeit, die vorhergesagt und frühzeitig begonnen werden könnte, aber ein spekulatives Ergebnis darf erst sichtbar werden, nachdem es und jeder frühere Schritt validiert wurden.
TomasuLLM überträgt die Antwort der CPU auf LLM-Agenten. Seine Laufzeitumgebung führt Tool-Aufrufe des Agenten außerhalb der Trajektorienreihenfolge aus und wahrt dabei die Korrektheit der Aufgabenausführung: Sie entwirft zukünftige Aktionen, führt sie in isolierten Copy-on-Write-Sandboxes aus, verfolgt ihre Abhängigkeiten und Auswirkungen und übernimmt Ergebnisse in der Trajektorienreihenfolge erst nach der Validierung gegen den übernommenen Zustand.
Über drei Benchmarks hinweg, die von Tool-Aufrufen unter einer Sekunde bis zu mehreren Minuten reichen, skalierten die Beschleunigungen mit der Tool-Latenz: 1,31x bei 100 SWE-bench-Verified-Aufgaben, 1,35x bei 28 Terminal-Bench-2.0-Aufgaben und 1,27x bei übereinstimmendem Fortschritt in 18 SWE-Marathon-Sitzungen. Über 4.010 geprüfte Commit-Validierungsdatensätze hinweg erzeugte die Laufzeitumgebung null falsche Übernahmen – kein spekulatives Ergebnis wurde jemals übernommen, als wäre es real.
Behandle die Agenten-Trajektorie wie einen Instruktionsstrom: spekuliere voraus, übernimm in der richtigen Reihenfolge
Die Tool-Latenz, nicht die Modellgeschwindigkeit, dominiert die Wall-Clock-Zeit von Coding-Agenten.
Eine sequenzielle Trajektorienschnittstelle verbirgt Tool-Arbeit, die vorhergesagt und begonnen werden kann, bevor der Agent sie erreicht.
Copy-on-Write-Sandboxes machen falsche Spekulationen entsorgbar statt katastrophal.
Die Übernahme in Trajektorienreihenfolge nach der Validierung hält das sichtbare Verhalten sequenziell und bewahrt zugleich die Beschleunigung.
Alte Hardware-Tricks bleiben übertragbar: Wenn eine Pipeline bei langsamen Schritten ins Stocken gerät, sage die Arbeit voraus, führe sie vorab in entsorgbaren Kopien aus und mache die Sichtbarkeit von der Validierung abhängig.
Das Paper berichtet Ergebnisse bei 100 SWE-bench-Verified-Aufgaben, 28 Terminal-Bench-2.0-Aufgaben und 18 SWE-Marathon-Sitzungen, mit null falschen Übernahmen über 4.010 geprüfte Commit-Validierungsdatensätze. Version 2 wurde am 1. Oktober 2026 auf arXiv veröffentlicht.
DEN BELEGEN FOLGEN
Die Quellen
- TomasuLLM: Out-of-Order Speculative Execution for LLM Agents arXiv · arxiv.org ·