BitNest：ターゲットの重みの中にドラフトを入れ子にし、追加メモリなしの投機的デコーディングを実現

投機的デコーディングは、軽量なドラフトを用いて複数トークンを提案し並列検証することで自己回帰生成を高速化するが、既存手法では追加のドラフトモデルまたは重み表現が必要であり、リソース制約のあるデバイスでは無視できないメモリオーバーヘッドとなる。自己投機的手法はこのオーバーヘッドを削減するものの、ドラフト品質、ターゲット品質、ストレージ効率の間のトレードオフが依然として残る。

BitNestは導出の方向を逆転させる。すなわち、まず強力な低精度ベースを構築し、その後、残差リファインメントを通じてより高精度なターゲットを復元することで、ドラフトとターゲットが単一の物理的重み表現を共有する。この漸進的精度設計は、長文脈推論のためにKVキャッシュにもさらに拡張される。

複数の7B〜8Bのエッジ向けLLMと多様なワークロードにおいて、BitNestは平均95.2%の投機的受容率を達成しつつ高精度モデルの品質をほぼ維持し、FP16自己回帰デコーディングに対して1.48〜1.61倍のエンドツーエンド高速化を実現する。代表的な自己投機的ベースラインすべてが対応するLLaMAモデルにおいて、一貫して競争力のある、またはより高いデコーディング高速化を示す。

導出を逆転させる。すなわち、低精度ドラフトを先に訓練し、その後、高精度ターゲットをその残差として表現する — 両者は単一の物理的重み表現を共有する

入れ子にされたドラフトは2つ目の重み格納を追加しない。これがエッジデバイスにおける主要な制約である。

残差リファインメントにより、直接的な低精度導出では失われるターゲット品質を回復する。

ベースを先に構築することでドラフトが強力になり、受容率が高く保たれる。

KVキャッシュも同様に入れ子にすることで、長文脈のメモリを予算内に保つ。

2つの役割が同じネットワークの2つの精度を必要とする場合、両方を格納するのではなく入れ子にする — 安価な役割をベースとし、高価な役割をその上の補正とする。

複数の7B〜8Bのエッジ向けLLMと多様なワークロードで報告されている。2026年10月2日にarXivでv1プレプリントとして公開され、メモリ効率の高いオンデバイス推論を目指している。展開結果はまだない。