Cascadia a fait résider un modèle MoE de 975 milliards de paramètres sur onze PC d'IA

Inkling est un modèle à mélange d'experts de 975 milliards de paramètres au total et de 41 milliards de paramètres actifs. L'équipe Cascadia l'a fait résider sur onze PC d'IA Intel Core Ultra X7 358H, chacun doté de 64 Go de mémoire, d'un graphique intégré Arc B390 et d'Ethernet gigabit — soit 704 Go de capacité nominale répartis entre des espaces d'adressage indépendants. Un moteur personnalisé préserve les règles de routage d'Inkling, construit des graphes compressés pour les primitives iGPU fusionnées d'OpenVINO et coordonne le calcul des experts en FP16 avec une restauration de sortie en FP32, en logeant six couches de décodeur consécutives par machine.

Deux dispositions l'ont rendu rapide. Les blocs denses de type feed-forward sont représentés comme des tranches d'experts toutes actives, ce qui réduit le temps d'appel mesuré des couches denses d'environ 8,1 à 4,5 ms. Un pipeline de streaming coordonne la génération concurrente, atteignant 60,29 jetons de décodage agrégés par seconde à 88 flux (46,87 sur des phases de service complètes) sur une grille testée jusqu'à 176 flux. Le brouillon spéculatif aide les requêtes uniques : un proposeur hybride utilise des correspondances de suffixes locales à la requête ou des contextes partagés avec au moins 90 pour cent d'accord, soutenu par un modèle de brouillon Qwen3-0,6B sur CPU — les accélérations par requête ont atteint 3,28x.

L'équipe a aussi mesuré les limites honnêtement. Avec le budget de contexte relevé au-delà de la valeur par défaut de 1 024 positions, de vrais prompts de 1k à 64k jetons ont récupéré le code intégré dans les 19 réponses mesurées, et la mémoire tient 512k positions par flux — mais le temps du premier jeton croît en aN+bN au carré parce qu'une boucle d'attention CPU mono-thread lie le tout (un cœur occupé par machine tandis que l'iGPU restait occupé à 9-56 pour cent). Le parallélisme par têtes et par blocs de clés ainsi que l'attention sur iGPU sont cités comme les prochaines étapes, encore non mesurées.

Onze PC d'IA agissent comme une seule flotte MoE résidente : six couches de décodeur par machine, des blocs denses comme tranches d'experts toutes actives, des calculs d'experts en FP16 avec restauration en FP32.

La parcimonie du MoE signifie que seuls 41 milliards des 975 milliards de paramètres calculent par jeton, si bien que la véritable contrainte de la flotte est le stockage des poids, non le calcul.

Garder les poids résidents et transmettre les activations entre machines évite de diffuser des centaines de gigaoctets sur Ethernet gigabit.

Les blocs denses deviennent des tranches d'experts toutes actives afin qu'un seul chemin de code serve à la fois les couches parcimonieuses et denses sur l'iGPU.

Le calcul des experts en FP16 avec restauration de sortie en FP32 reste proche du chemin numérique déployé, vérifié en rejouant des états de flotte capturés.

La parcimonie change l'économie de l'échelle : un modèle trop gros pour une seule machine devient servable lorsque les poids restent résidents et que seules les activations voyagent.

Les chiffres proviennent de la flotte déployée elle-même : 88 flux se sont révélés le meilleur point de fonctionnement (8 par groupe de pipeline), 176 flux soutenaient encore 57,72 jetons de décodage agrégés par seconde, et une sonde de démarrage tenait 512k positions par flux. L'évaluation du brouillon sur états capturés a mesuré la tête de prédiction multi-jetons livrée d'Inkling à 66,81 pour cent d'accord au premier brouillon, ne tombant qu'à 64,36 pour cent avec un vocabulaire de 65 536 jetons et des grilles de poids INT4/INT8. L'article présente le dispositif comme une approche d'exécution et d'évaluation pour de grands modèles parcimonieux sur des systèmes clients distribués.