L0-MoE 以 L0 正則化從稠密 LLM 自身的神經元中切分出領域專家

混合專家模型可提供快速推論，但從零開始訓練一個，或將稠密 LLM 升級改造，都需要龐大的算力與語料——DeepSeek-V3 與 Qwen2.5-Max 分別在 14.8T 與 20T 個 token 上預訓練。L0-MoE 則改為從預訓練的稠密檢查點與精選的 30B token 語料庫建構出可用的 MoE。

其機制為：以 BGE-M3 嵌入與 K-means 將語料庫聚類成語意領域（聚類混淆矩陣依語意距離排序），接著對每個領域，使用 L0 正則化在 FFN 中間維度上訓練二元遮罩，將保留比例從 100% 退火降至目標值，同時凍結 MLP 以外的一切。如此產生 64 個專家，每個都是原模型的一個切片，專精於一個領域。

動態批次處理接著以兩個迴圈教導路由器：先使用同領域批次，讓專家選擇得以初始化；再循環混合領域，使其學會 token 層級的多專家路由。

在 Llama-3-8B、Mistral-7B 與 Qwen2-7B 上，L0-MoE 分別達到 2.0 倍、2.1 倍與 2.5 倍的推論加速，基準效能與稠密原模型相當——Mistral 的變體甚至平均約好 1%。它優於 GPTQ 量化、LLM shearing 與 RKD+CoT 蒸餾等基線，這些方法雖加速卻降低品質；消融實驗顯示，隨機、量級、OBS 與 SVD 維度選擇全都遜於 L0 學習到的遮罩。

不要從零開始培育專家——而是針對每個領域，挑出稠密模型自身隱藏維度中哪些重要，並只保留那些

L0 的硬混凝土閘門使維度選擇可微，因此「這個領域要用哪些神經元」是被訓練出來的，而非搜尋出來的。

凍結 FFN 遮罩以外的一切，使每個專家都是原模型的真實切片，因此品質得以維持。

聚類混淆矩陣對領域排序，使路由器先接觸熟悉的領域，再接觸混合的領域。

領域匹配的批次在混合批次上訓練 token 層級選擇之前，先引導序列層級路由。

稠密模型本身已包含其專家；訣竅在於找出哪些神經元屬於哪個領域。逐領域的 L0 遮罩加上領域課程，能以 MoE 訓練成本的一小部分將其切分出來。

發表於第 63 屆 ACL 年會論文集（2025）；程式碼與精選資料集已於 github.com/zhangzhenyu13/L0-MOE 發布。作者將此方法定位於對成本敏感的工業部署，這些場景無法負擔從零開始的 MoE 訓練。