TomasuLLMは投機的CPUのようにエージェントのツール呼び出しを順序外で実行した

長時間実行されるツールがコーディングエージェントのレイテンシを支配している。コンパイラ、テストスイート、リポジトリコマンドは数秒から数分かかり、その間エージェントは待機したままになる。この観察される停滞は、アウトオブオーダープロセッサを生んだのと同じ緊張関係である。逐次的なインターフェースは、予測して早期に開始できる作業を隠してしまうが、投機的な結果は、それ自体とそれ以前のすべてのステップが検証された後にのみ可視化できる。

TomasuLLMはCPUの答えをLLMエージェントに適用する。そのランタイムは、タスク実行の正確性を保ちながら、エージェントのツール呼び出しを軌跡の順序外で実行する。将来の行動を起草し、分離されたコピーオンライトのサンドボックスで実行し、その依存関係と効果を追跡し、コミット済み状態に対する検証後にのみ軌跡順に結果をコミットする。

1秒未満から数分に及ぶツール呼び出しを対象とする3つのベンチマークで、高速化はツールのレイテンシに応じて拡大した。SWE-bench Verifiedの100タスクで1.31倍、Terminal-Bench 2.0の28タスクで1.35倍、SWE-Marathonの18セッションで1.27倍の同等の進捗であった。監査された4,010件のコミット検証記録全体で、ランタイムの誤承認はゼロ件だった（投機的な結果が本物であるかのようにコミットされたことは一度もなかった）。

エージェントの軌跡を命令ストリームのように扱う。先読みして投機し、順序通りにコミットする。

コーディングエージェントの実時間を支配するのは、モデルの速度ではなくツールのレイテンシである。

逐次的な軌跡インターフェースは、エージェントがそこに到達する前に予測して開始できるツール作業を隠してしまう。

コピーオンライトのサンドボックスは、誤った投機を破滅的なものではなく使い捨て可能なものにする。

検証後に軌跡順でコミットすることで、可視の挙動を逐次的なままに保ちつつ、高速化も維持する。

古いハードウェアの技法は通用する。パイプラインが遅いステップで停滞したら、作業を予測し、使い捨てのコピーで先に実行し、検証を条件に可視性を制御する。

論文はSWE-bench Verifiedの100タスク、Terminal-Bench 2.0の28タスク、SWE-Marathonの18セッションでの結果を報告しており、監査された4,010件のコミット検証記録全体で誤承認はゼロであった。バージョン2は2026年10月1日にarXivに投稿された。