BitNest 將草稿模型嵌套於目標模型的權重之中，實現零額外記憶體的推測解碼

推測解碼透過使用輕量草稿模型提出多個 token 以供平行驗證，來加速自迴歸生成，但現有方法需要額外的草稿模型或權重表示——在資源受限的裝置上造成不可忽視的記憶體開銷。自我推測方法降低了該開銷，但仍須在草稿品質、目標品質與儲存效率之間取捨。

BitNest 翻轉了推導方向：先建構一個強健的低精度基礎，再透過殘差精修還原較高精度的目標，使草稿與目標共用單一的實體權重表示。此漸進精度設計進一步延伸至 KV 快取，以支援長上下文推論。

在多個適合邊緣裝置的 7B-8B LLM 與多樣化工作負載上，BitNest 達到平均 95.2% 的推測接受率，同時緊密保留較高精度模型的品質，並相較於 FP16 自迴歸解碼提供 1.48-1.61 倍的端到端加速。在所有具代表性的自我推測基線皆支援的 LLaMA 模型上，它展現出一致具競爭力或更高的解碼加速。

反轉推導過程：先訓練低精度草稿，再將高精度目標表示為其殘差——兩者共用單一的實體權重表示

嵌套的草稿不增加第二份權重儲存，而這正是邊緣裝置的關鍵限制。

殘差精修還原了直接低精度推導會喪失的目標品質。

先建構基礎使草稿強健，因此接受率得以維持在高檔。

以相同方式嵌套 KV 快取，使長上下文記憶體維持在預算之內。

當兩個角色需要同一網路的兩種精度時，將它們嵌套而非同時儲存兩者——讓低成本的角色作為基礎，高成本的角色作為其上的修正。

於多個適合邊緣裝置的 7B-8B LLM 與多樣化工作負載上報告；於 2026 年 10 月 2 日以 v1 預印本形式發布於 arXiv，目標為記憶體高效的裝置端推論。尚無部署結果。