TomasuLLM executou chamadas de ferramentas de agente fora de ordem, como uma CPU especulativa

Ferramentas de longa duração dominam a latência dos agentes de programação: compiladores, suítes de testes e comandos de repositório levam de segundos a minutos enquanto o agente fica ocioso. A paralisação por espera é a mesma tensão que impulsionou os processadores fora de ordem — uma interface sequencial esconde trabalho que poderia ser previsto e iniciado antecipadamente, mas um resultado especulativo só pode se tornar visível depois que ele e todas as etapas anteriores tiverem sido validados.

O TomasuLLM aplica a resposta das CPUs aos agentes LLM. Seu runtime executa chamadas de ferramentas do agente fora da ordem da trajetória, preservando a correção da execução da tarefa: ele pré-elabora ações futuras, executa-as em sandboxes isolados copy-on-write, rastreia suas dependências e efeitos, e confirma os resultados na ordem da trajetória somente após validação contra o estado confirmado.

Em três benchmarks que abrangem chamadas de ferramentas de menos de um segundo a vários minutos, os ganhos de velocidade escalaram com a latência da ferramenta: 1,31x em 100 tarefas do SWE-bench Verified, 1,35x em 28 tarefas do Terminal-Bench 2.0 e 1,27x de progresso equivalente em 18 sessões do SWE-Marathon. Em 4.010 registros de validação de confirmação auditados, o runtime produziu zero falsos aceites — nenhum resultado especulativo foi jamais confirmado como se fosse real.

Trate a trajetória do agente como um fluxo de instruções: especule adiante, confirme em ordem

A latência das ferramentas, e não a velocidade do modelo, domina o tempo de relógio dos agentes de programação.

Uma interface de trajetória sequencial esconde o trabalho de ferramentas que pode ser previsto e iniciado antes que o agente chegue a ele.

Sandboxes copy-on-write tornam as especulações erradas descartáveis em vez de catastróficas.

Confirmar na ordem da trajetória após a validação mantém o comportamento visível sequencial enquanto preserva o ganho de velocidade.

Truques antigos de hardware viajam: quando um pipeline trava em etapas lentas, preveja o trabalho, execute-o antecipadamente em cópias descartáveis e condicione a visibilidade à validação.

O artigo relata resultados em 100 tarefas do SWE-bench Verified, 28 tarefas do Terminal-Bench 2.0 e 18 sessões do SWE-Marathon, com zero falsos aceites em 4.010 registros de validação de confirmação auditados. A versão 2 foi publicada no arXiv em 1 de outubro de 2026.