Cascadia 在十一台 AI PC 上常駐執行 975B 參數 MoE 模型

Inkling 是一個總參數 975B、每次啟動 41B 參數的混合專家（MoE）模型。Cascadia 團隊將其常駐於十一台 Intel Core Ultra X7 358H AI PC 上，每台配備 64 GB 記憶體、Arc B390 整合式顯示晶片與千兆乙太網路——名義總容量 704 GB，分散於各自獨立的位址空間。一套自訂引擎保留了 Inkling 的路由規則，為 OpenVINO 的融合 iGPU 原語建構壓縮圖，並協調 FP16 專家運算與 FP32 輸出還原，使每台機器容納六個連續的解碼器層。

有兩項安排讓它跑得快。稠密前饋區塊被表示為全啟動的專家切片，將實測的稠密層呼叫時間從約 8.1 毫秒縮短至 4.5 毫秒。串流管線協調並行生成，在測試至 176 條串流的網格上，於 88 條串流時達到 60.29 的彙總解碼 token/秒（完整服務階段為 46.87）。推測性草擬有助於單一請求：混合提案器使用請求本地的後綴匹配，或使用一致度至少 90% 的共享上下文，並由 Qwen3-0.6B CPU 草擬模型支援——單一請求的加速比達到 3.28 倍。

團隊也誠實地測量了極限。將上下文預算從預設的 1,024 個位置提高後，1k 至 64k token 的真實提示在全部 19 個受測答案中都還原了內嵌程式碼，且記憶體每條串流可容納 512k 個位置——但首 token 時間隨 aN+bN 平方成長，因為單執行緒的 CPU 注意力迴圈成為瓶頸（每台機器有一個核心忙碌，而 iGPU 的忙碌程度僅 9-56%）。頭部與鍵區塊平行化以及 iGPU 注意力被列為下一步，目前仍未測量。

十一台 AI PC 如同一支常駐的 MoE 機隊：每台機器六個解碼器層，稠密區塊作為全啟動的專家切片，FP16 專家運算搭配 FP32 還原。

MoE 的稀疏性意味著每個 token 只有 975B 參數中的 41B 參與運算，因此機隊真正的限制是權重儲存，而非運算。

讓權重常駐並在機器之間傳遞啟動值，避免了透過千兆乙太網路串流數百 GB 的資料。

稠密區塊變成全啟動的專家切片，使同一條程式碼路徑能在 iGPU 上同時服務稀疏層與稠密層。

FP16 專家運算搭配 FP32 輸出還原，貼近實際部署的數值路徑，並透過重播擷取的機隊狀態加以驗證。

稀疏性改變了規模化的經濟效益：當權重保持常駐、只有啟動值需要傳輸時，一個大到任何單一機器都放不下的模型也能提供服務。

這些數字來自實際部署的機隊本身：88 條串流證明是最佳運作點（每個管線群組 8 條），176 條串流仍維持 57.72 的彙總解碼 token/秒，而啟動探測在每條串流上維持了 512k 個位置。擷取狀態的草擬評估測得 Inkling 隨附的多 token 預測頭首稿一致率為 66.81%，在 65,536 token 詞彙表與 INT4/INT8 權重網格下僅降至 64.36%。論文將此設定定位為在分散式客戶端系統上執行與評估大型稀疏模型的一種方法。