TomasuLLM exécutait les appels d'outils des agents dans le désordre, à la manière d'un processeur spéculatif

Les outils de longue durée dominent la latence des agents de codage : les compilateurs, les suites de tests et les commandes de dépôt prennent de quelques secondes à plusieurs minutes pendant que l'agent reste inactif. Ce blocage d'observation relève de la même tension que celle qui a poussé à l'invention des processeurs à exécution désordonnée — une interface séquentielle masque un travail qui pourrait être prédit et lancé à l'avance, mais un résultat spéculatif ne peut devenir visible qu'après validation de celui-ci et de toutes les étapes antérieures.

TomasuLLM applique la réponse des processeurs aux agents LLM. Son environnement d'exécution exécute les appels d'outils de l'agent hors de l'ordre de la trajectoire tout en préservant la correction de l'exécution des tâches : il prépare à l'avance les actions futures, les exécute dans des bacs à sable isolés en copie sur écriture, trace leurs dépendances et leurs effets, puis consigne les résultats dans l'ordre de la trajectoire uniquement après validation par rapport à l'état consigné.

Sur trois bancs d'essai couvrant des appels d'outils allant de moins d'une seconde à plusieurs minutes, les accélérations augmentaient avec la latence des outils : 1,31x sur 100 tâches SWE-bench Verified, 1,35x sur 28 tâches Terminal-Bench 2.0 et 1,27x de progression équivalente sur 18 sessions SWE-Marathon. Sur 4 010 enregistrements de validation de consignation audités, l'environnement d'exécution n'a produit aucune acceptation erronée — aucun résultat spéculatif n'a jamais été consigné comme s'il était réel.

Traiter la trajectoire de l'agent comme un flux d'instructions : spéculer en avance, consigner dans l'ordre

La latence des outils, et non la vitesse du modèle, domine le temps réel des agents de codage.

Une interface de trajectoire séquentielle masque le travail des outils qui peut être prédit et lancé avant que l'agent n'y arrive.

Les bacs à sable en copie sur écriture rendent les spéculations erronées jetables plutôt que catastrophiques.

Consigner dans l'ordre de la trajectoire après validation préserve un comportement visible séquentiel tout en conservant l'accélération.

Les vieilles astuces matérielles se transposent : lorsqu'un pipeline se bloque sur des étapes lentes, prédire le travail, l'exécuter à l'avance dans des copies jetables et conditionner sa visibilité à la validation.

L'article rapporte des résultats sur 100 tâches SWE-bench Verified, 28 tâches Terminal-Bench 2.0 et 18 sessions SWE-Marathon, avec zéro acceptation erronée sur 4 010 enregistrements de validation de consignation audités. La version 2 a été publiée sur arXiv le 1er octobre 2026.