BitNest anida el borrador dentro de los pesos del objetivo para especulación sin memoria adicional

La decodificación especulativa acelera la generación autorregresiva usando un borrador ligero para proponer múltiples tokens para verificación en paralelo, pero los métodos existentes requieren un modelo borrador o una representación de pesos adicional: una sobrecarga de memoria no despreciable en dispositivos con recursos limitados. Los enfoques autoespeculativos reducen esa sobrecarga, pero aún sacrifican calidad del borrador, calidad del objetivo y eficiencia de almacenamiento.

BitNest invierte la dirección de la derivación: construir primero una base sólida de baja precisión y luego recuperar el objetivo de mayor precisión mediante refinamiento residual, de modo que el borrador y el objetivo comparten una única representación física de pesos. El diseño de precisión progresiva se extiende además a la caché KV para inferencia de contexto largo.

En múltiples LLM de 7B-8B aptos para dispositivos de borde y diversas cargas de trabajo, BitNest alcanza una tasa de aceptación especulativa promedio del 95,2 % mientras preserva estrechamente la calidad del modelo de mayor precisión, y ofrece una aceleración de extremo a extremo de 1,48-1,61x frente a la decodificación autorregresiva en FP16. En los modelos LLaMA admitidos por todas las líneas base autoespeculativas representativas, registra una aceleración de decodificación consistentemente competitiva o superior.

Invertir la derivación: entrenar primero el borrador de baja precisión y luego expresar el objetivo de alta precisión como su residual; ambos comparten una única representación física de pesos

Un borrador anidado no añade un segundo almacenamiento de pesos, que es la restricción limitante en los dispositivos de borde.

El refinamiento residual recupera la calidad del objetivo que la derivación directa de baja precisión perdería.

Construir primero la base hace que el borrador sea sólido, por lo que las tasas de aceptación se mantienen altas.

Anidar la caché KV de la misma manera mantiene la memoria de contexto largo dentro del presupuesto.

Cuando dos roles necesitan dos precisiones de la misma red, anidarlos en lugar de almacenar ambos: dejar que el rol barato sea la base y el rol costoso sea la corrección encima.

Reportado en múltiples LLM de 7B-8B aptos para dispositivos de borde y diversas cargas de trabajo; publicado como preprint v1 en arXiv el 2 de octubre de 2026, orientado a la inferencia en dispositivo con eficiencia de memoria. Aún no hay resultados de despliegue.