Cascadiaは975BパラメータのMoEモデルを11台のAI PCに常駐させて実行した

Inklingは総パラメータ975B、アクティブパラメータ41Bのmixture-of-expertsモデルである。Cascadiaチームはこれを11台のIntel Core Ultra X7 358H AI PCに常駐させた。各マシンは64 GBのメモリ、Arc B390統合グラフィックス、ギガビットEthernetを備え、独立したアドレス空間にまたがる公称容量704 GBを構成する。独自エンジンがInklingのルーティング規則を保持し、OpenVINOの融合iGPUプリミティブ向けに圧縮グラフを構築し、FP16のエキスパート計算とFP32出力の復元を連携させ、マシンあたり6つの連続するデコーダ層を収める。

高速化を実現した工夫は2つある。密なフィードフォワードブロックを全アクティブのエキスパートスライスとして表現することで、実測の密層呼び出し時間を約8.1 msから4.5 msに短縮した。ストリーミングパイプラインが並行生成を連携させ、176ストリームまで試験したグリッド上で88ストリーム時に合計60.29デコードトークン/秒（完全なサービングフェーズでは46.87）に達した。投機的ドラフトは単一リクエストに有効で、ハイブリッド提案器がリクエストローカルのサフィックス一致または少なくとも90パーセント一致する共有コンテキストを用い、Qwen3-0.6BのCPUドラフトモデルに支えられ、リクエストあたりの高速化は3.28倍に達した。

チームは限界も正直に測定した。コンテキスト予算をデフォルトの1,024ポジションから引き上げると、1kから64kトークンの実際のプロンプトで、測定した19件の回答すべてで埋め込まれたコードを復元でき、メモリはストリームあたり512kポジションを保持する。しかし初回トークン時間はaN+bNの二乗で増大する。単一スレッドのCPUアテンションループがすべてを律速するためである（iGPUが9〜56パーセント稼働している間、マシンあたり1コアがビジー状態）。ヘッドおよびキーブロックの並列化とiGPUアテンションは、次なる未測定のステップとして挙げられている。

11台のAI PCが1つの常駐MoEフリートとして機能する。マシンあたり6つのデコーダ層、密ブロックは全アクティブのエキスパートスライス、FP16のエキスパート演算とFP32復元。

MoEの疎性により、975Bのうち41Bのパラメータのみがトークンごとに計算されるため、フリートの実際の制約は演算ではなく重みの保存である。

重みを常駐させ、マシン間でアクティベーションを受け渡すことで、数百ギガバイトをギガビットEthernet経由でストリーミングすることを避けられる。

密ブロックを全アクティブのエキスパートスライスにすることで、単一のコードパスがiGPU上の疎層と密層の両方を処理できる。

FP16のエキスパート計算とFP32出力の復元は、キャプチャしたフリート状態を再生して検証され、デプロイされた数値経路に近い状態を保つ。

疎性はスケールの経済性を変える。どの1台にも収まらないモデルも、重みが常駐しアクティベーションのみが移動すれば提供可能になる。

数値はデプロイされたフリート自体から得られたものである。88ストリームが最良の動作点（パイプライングループあたり8）であることを示し、176ストリームでも合計57.72デコードトークン/秒を維持し、起動プローブはストリームあたり512kポジションを保持した。キャプチャ状態でのドラフト評価では、Inklingに搭載されたマルチトークン予測ヘッドが初回ドラフト一致率66.81パーセントを記録し、65,536トークン語彙とINT4/INT8重みグリッドでも64.36パーセントに低下するにとどまった。論文はこの構成を、分散クライアントシステム上での大規模疎モデルの実行および評価アプローチとして位置づけている。