BitNest imbrique le draft dans les poids de la cible pour une spéculation sans mémoire supplémentaire

Le décodage spéculatif accélère la génération autorégressive en utilisant un draft léger pour proposer plusieurs tokens à vérifier en parallèle, mais les méthodes existantes nécessitent un modèle draft ou une représentation de poids supplémentaire — une surcharge mémoire non négligeable sur les appareils à ressources limitées. Les approches auto-spéculatives réduisent cette surcharge mais font encore un compromis entre qualité du draft, qualité de la cible et efficacité de stockage.

BitNest inverse le sens de la dérivation : construire d'abord une base solide en basse précision, puis récupérer la cible en plus haute précision par raffinement résiduel, de sorte que le draft et la cible partagent une seule représentation physique des poids. La conception à précision progressive est en outre étendue au cache KV pour l'inférence en contexte long.

Sur plusieurs LLM de 7B à 8B adaptés à l'edge et diverses charges de travail, BitNest atteint un taux d'acceptation spéculative moyen de 95,2 % tout en préservant étroitement la qualité du modèle en plus haute précision, et offre une accélération de bout en bout de 1,48 à 1,61 fois par rapport au décodage autorégressif en FP16. Sur les modèles LLaMA pris en charge par toutes les bases auto-spéculatives représentatives, il affiche une accélération de décodage systématiquement compétitive ou supérieure.

Inverser la dérivation : entraîner d'abord le draft en basse précision, puis exprimer la cible en haute précision comme son résidu — les deux partagent une seule représentation physique des poids

Un draft imbriqué n'ajoute aucun second stockage de poids, ce qui constitue la contrainte déterminante sur les appareils edge.

Le raffinement résiduel récupère la qualité de la cible que la dérivation directe en basse précision perdrait.

Construire la base en premier rend le draft solide, de sorte que les taux d'acceptation restent élevés.

Imbriquer le cache KV de la même manière maintient la mémoire en contexte long dans le budget.

Lorsque deux rôles nécessitent deux précisions du même réseau, les imbriquer plutôt que de stocker les deux — laisser le rôle bon marché être la base et le rôle coûteux être la correction par-dessus.

Rapporté sur plusieurs LLM de 7B à 8B adaptés à l'edge et diverses charges de travail ; publié comme préprint v1 sur arXiv le 2 octobre 2026, visant l'inférence sur appareil économe en mémoire. Aucun résultat de déploiement pour l'instant.