Cascadia betrieb ein MoE-Modell mit 975B Parametern resident auf elf KI-PCs

Inkling ist ein Mixture-of-Experts-Modell mit insgesamt 975B Parametern und 41B aktiven Parametern. Das Cascadia-Team machte es auf elf Intel Core Ultra X7 358H KI-PCs resident, jeder mit 64 GB Arbeitsspeicher, integrierter Arc-B390-Grafik und Gigabit-Ethernet – 704 GB nominale Kapazität, verteilt über unabhängige Adressräume. Eine eigens entwickelte Engine bewahrt Inklings Routing-Regeln, erstellt komprimierte Graphen für die fusionierten iGPU-Primitive von OpenVINO und koordiniert die FP16-Expertenberechnung mit FP32-Ausgabewiederherstellung, wobei sechs aufeinanderfolgende Decoder-Schichten pro Rechner Platz finden.

Zwei Anordnungen machten es schnell. Dichte Feed-Forward-Blöcke werden als vollständig aktive Experten-Slices dargestellt, wodurch die gemessene Aufrufzeit dichter Schichten von etwa 8,1 auf 4,5 ms sinkt. Eine Streaming-Pipeline koordiniert die gleichzeitige Generierung und erreicht 60,29 aggregierte Decode-Token/s bei 88 Streams (46,87 über vollständige Serving-Phasen) auf einem bis 176 Streams getesteten Verbund. Spekulatives Drafting hilft bei einzelnen Anfragen: Ein hybrider Vorschlagsmechanismus nutzt anfragelokale Suffix-Übereinstimmungen oder gemeinsame Kontexte mit mindestens 90 Prozent Übereinstimmung, gestützt auf ein Qwen3-0.6B-Draft-Modell auf der CPU – die Beschleunigung pro Anfrage erreichte 3,28x.

Das Team maß auch die Grenzen ehrlich. Nachdem das Kontextbudget vom Standardwert von 1.024 Positionen erhöht wurde, gewannen echte Prompts von 1k bis 64k Token den eingebetteten Code in allen 19 gemessenen Antworten zurück, und der Speicher hält 512k Positionen pro Stream – doch die Zeit bis zum ersten Token wächst als aN+bN-Quadrat, weil eine single-threaded CPU-Attention-Schleife alles begrenzt (ein Kern pro Rechner ausgelastet, während die iGPU zu 9–56 Prozent ausgelastet war). Head- und Key-Block-Parallelität sowie iGPU-Attention werden als nächste, noch nicht gemessene Schritte genannt.

Elf KI-PCs wirken als eine residente MoE-Flotte: sechs Decoder-Schichten pro Rechner, dichte Blöcke als vollständig aktive Experten-Slices, FP16-Expertenmathematik mit FP32-Wiederherstellung.

MoE-Sparsität bedeutet, dass pro Token nur 41B von 975B Parametern berechnet werden, sodass die tatsächliche Einschränkung der Flotte die Gewichtsspeicherung ist, nicht die Rechenleistung.

Die Gewichte resident zu halten und Aktivierungen zwischen den Rechnern weiterzureichen, vermeidet das Streamen von Hunderten Gigabyte über Gigabit-Ethernet.

Dichte Blöcke werden zu vollständig aktiven Experten-Slices, sodass ein Codepfad sowohl spärliche als auch dichte Schichten auf der iGPU bedient.

FP16-Expertenberechnung mit FP32-Ausgabewiederherstellung bleibt nahe am eingesetzten numerischen Pfad, verifiziert durch das Nachspielen aufgezeichneter Flottenzustände.

Sparsität verändert die Ökonomie der Skalierung: Ein Modell, das zu groß für eine einzelne Box ist, wird bedienbar, wenn die Gewichte resident bleiben und nur die Aktivierungen wandern.

Die Zahlen stammen aus der eingesetzten Flotte selbst: 88 Streams erwiesen sich als bester Betriebspunkt (8 pro Pipeline-Gruppe), 176 Streams hielten noch 57,72 aggregierte Decode-Token/s aufrecht, und eine Start-up-Sonde hielt 512k Positionen pro Stream. Die Draft-Evaluierung mit aufgezeichneten Zuständen maß Inklings ausgelieferten Multi-Token-Prediction-Head bei 66,81 Prozent Erstentwurf-Übereinstimmung, die nur auf 64,36 Prozent mit einem Vokabular von 65.536 Token und INT4/INT8-Gewichtsraster fiel. Das Paper rahmt das Setup als Ausführungs- und Evaluierungsansatz für große spärliche Modelle auf verteilten Client-Systemen.