BitNest, 추가 메모리 없이 초안을 대상의 가중치 안에 중첩하다

투기적 디코딩은 경량 초안을 사용해 여러 토큰을 제안하고 병렬로 검증함으로써 자기회귀 생성을 가속하지만, 기존 방법들은 추가적인 초안 모델이나 가중치 표현을 필요로 하여 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 발생시킨다. 자기투기적 접근법은 그 오버헤드를 줄이지만 여전히 초안 품질, 대상 품질, 저장 효율성 사이에서 절충한다.

BitNest는 도출의 방향을 뒤집는다. 강력한 저정밀도 기반을 먼저 구축한 뒤 잔차 정제를 통해 더 높은 정밀도의 대상을 복원함으로써, 초안과 대상이 단일 물리적 가중치 표현을 공유하게 한다. 이 점진적 정밀도 설계는 긴 문맥 추론을 위해 KV 캐시로까지 확장된다.

여러 7B-8B 엣지 친화적 LLM과 다양한 워크로드에서 BitNest는 평균 95.2%의 투기적 수용률을 달성하면서 더 높은 정밀도 모델의 품질을 근접하게 유지하며, FP16 자기회귀 디코딩 대비 1.48-1.61배의 종단 간 속도 향상을 제공한다. 모든 대표적인 자기투기적 기준선이 지원하는 LLaMA 모델에서 일관되게 경쟁력 있거나 더 높은 디코딩 속도 향상을 기록한다.

도출을 역전한다. 저정밀도 초안을 먼저 훈련한 뒤 고정밀도 대상을 그 잔차로 표현한다 — 둘은 하나의 물리적 가중치 표현을 공유한다

중첩된 초안은 두 번째 가중치 저장소를 추가하지 않으며, 이것이 엣지 기기의 핵심 제약이다.

잔차 정제는 직접적인 저정밀도 도출이 잃을 대상 품질을 복원한다.

기반을 먼저 구축하면 초안이 강력해져 수용률이 높게 유지된다.

KV 캐시를 같은 방식으로 중첩하면 긴 문맥 메모리가 예산 내에 유지된다.

두 역할이 동일한 네트워크의 두 정밀도를 필요로 할 때, 둘 다 저장하는 대신 중첩하라 — 저렴한 역할을 기반으로 하고 비싼 역할을 그 위의 보정으로 두라.

여러 7B-8B 엣지 친화적 LLM과 다양한 워크로드에서 보고되었으며, 2026년 10월 2일 arXiv에 v1 프리프린트로 게시되었고, 메모리 효율적인 온디바이스 추론을 목표로 한다. 아직 배포 결과는 없다.