BitNest verschachtelt den Entwurf in den Gewichten des Ziels für Spekulation ohne zusätzlichen Speicher

Spekulatives Dekodieren beschleunigt die autoregressive Generierung, indem ein leichtgewichtiger Entwurf mehrere Token zur parallelen Verifikation vorschlägt, doch bestehende Verfahren benötigen ein zusätzliches Entwurfsmodell oder eine zusätzliche Gewichtsdarstellung – ein nicht vernachlässigbarer Speicheraufwand auf ressourcenbeschränkten Geräten. Selbstspekulative Ansätze verringern diesen Aufwand, gehen jedoch weiterhin einen Kompromiss zwischen Entwurfsqualität, Zielqualität und Speichereffizienz ein.

BitNest kehrt die Richtung der Ableitung um: Zuerst wird eine starke Basis mit niedriger Präzision konstruiert, dann wird das Ziel mit höherer Präzision durch Residuenverfeinerung zurückgewonnen, sodass Entwurf und Ziel eine einzige physische Gewichtsdarstellung teilen. Das Design mit progressiver Präzision wird zudem auf den KV-Cache für Inferenz mit langem Kontext erweitert.

Über mehrere randnahe LLMs mit 7B-8B Parametern und diverse Arbeitslasten hinweg erreicht BitNest eine durchschnittliche spekulative Akzeptanzrate von 95,2 %, während die Qualität des Modells mit höherer Präzision weitgehend erhalten bleibt, und liefert eine Ende-zu-Ende-Beschleunigung von 1,48-1,61x gegenüber autoregressiver FP16-Dekodierung. Bei den LLaMA-Modellen, die von allen repräsentativen selbstspekulativen Baselines unterstützt werden, erzielt es durchweg wettbewerbsfähige oder höhere Dekodierungsbeschleunigungen.

Umkehrung der Ableitung: Zuerst wird der Entwurf mit niedriger Präzision trainiert, dann wird das Ziel mit hoher Präzision als dessen Residuum ausgedrückt – beide teilen eine einzige physische Gewichtsdarstellung

Ein verschachtelter Entwurf fügt keine zweite Gewichtsspeicherung hinzu, was die bindende Einschränkung auf randnahen Geräten darstellt.

Residuenverfeinerung gewinnt die Zielqualität zurück, die eine direkte Ableitung mit niedriger Präzision verlieren würde.

Der vorherige Aufbau der Basis macht den Entwurf stark, sodass die Akzeptanzraten hoch bleiben.

Die gleiche Verschachtelung des KV-Cache hält den Speicher für langen Kontext im Budget.

Wenn zwei Rollen zwei Präzisionen desselben Netzwerks benötigen, sollten sie verschachtelt statt beide gespeichert werden – die günstige Rolle als Basis und die teure Rolle als Korrektur darauf.

Berichtet über mehrere randnahe LLMs mit 7B-8B Parametern und diverse Arbeitslasten; am 2. Oktober 2026 als v1-Preprint auf arXiv veröffentlicht, ausgerichtet auf speichereffiziente Inferenz auf dem Gerät. Noch keine Ergebnisse aus dem Einsatz.