BitNest aninha o rascunho dentro dos pesos do alvo para especulação sem memória extra

A decodificação especulativa acelera a geração autorregressiva usando um rascunho leve para propor vários tokens para verificação paralela, mas os métodos existentes exigem um modelo de rascunho adicional ou uma representação de pesos adicional — sobrecarga de memória não desprezível em dispositivos com recursos limitados. As abordagens autosspeculativas reduzem essa sobrecarga, mas ainda equilibram qualidade do rascunho, qualidade do alvo e eficiência de armazenamento.

O BitNest inverte a direção da derivação: constrói primeiro uma base forte de baixa precisão e, em seguida, recupera o alvo de maior precisão por meio de refinamento residual, de modo que rascunho e alvo compartilham uma única representação física de pesos. O design de precisão progressiva é ainda estendido ao cache KV para inferência de contexto longo.

Em vários LLMs de 7B-8B adequados para dispositivos de borda e cargas de trabalho diversas, o BitNest alcança uma taxa média de aceitação especulativa de 95,2%, preservando de perto a qualidade do modelo de maior precisão, e proporciona um ganho de velocidade ponta a ponta de 1,48-1,61x em relação à decodificação autorregressiva em FP16. Nos modelos LLaMA suportados por todas as linhas de base autosspeculativas representativas, apresenta ganho de velocidade de decodificação consistentemente competitivo ou superior.

Inverter a derivação: treinar primeiro o rascunho de baixa precisão e, em seguida, expressar o alvo de alta precisão como seu resíduo — ambos compartilham uma única representação física de pesos

Um rascunho aninhado não adiciona um segundo armazenamento de pesos, que é a restrição limitante em dispositivos de borda.

O refinamento residual recupera a qualidade do alvo que a derivação direta de baixa precisão perderia.

Construir a base primeiro torna o rascunho forte, de modo que as taxas de aceitação permanecem altas.

Aninhar o cache KV da mesma forma mantém a memória de contexto longo dentro do orçamento.

Quando dois papéis precisam de duas precisões da mesma rede, aninhe-os em vez de armazenar ambos — deixe o papel barato ser a base e o papel caro ser a correção por cima.

Relatado em vários LLMs de 7B-8B adequados para dispositivos de borda e cargas de trabalho diversas; publicado como pré-print v1 no arXiv em 2 de outubro de 2026, voltado para inferência em dispositivo com eficiência de memória. Ainda sem resultados de implantação.