L0-MoE hat mit L0-Regularisierung Domänenexperten aus den eigenen Neuronen eines dichten LLM herausgelöst

Mixture-of-Experts-Modelle ermöglichen eine schnelle Inferenz, doch das Training eines solchen Modells von Grund auf oder das Upcycling eines dichten LLM erfordert enormen Rechenaufwand und riesige Korpora – DeepSeek-V3 und Qwen2.5-Max wurden auf 14,8 Billionen bzw. 20 Billionen Tokens vortrainiert. L0-MoE hingegen baut aus einem vortrainierten dichten Checkpoint und einem kuratierten Korpus von 30 Milliarden Tokens ein funktionierendes MoE.

Der Mechanismus: Der Korpus wird mit BGE-M3-Embeddings und K-means in semantische Domänen geclustert (eine Cluster-Konfusionsmatrix ordnet sie nach semantischer Distanz), dann wird für jede Domäne eine binäre Maske über die intermediären FFN-Dimensionen mittels L0-Regularisierung trainiert, wobei die Beibehaltungsrate von 100 % schrittweise auf den Zielwert abgesenkt wird, während alles außerhalb der MLPs eingefroren bleibt. Das ergibt 64 Experten, von denen jeder ein auf eine Domäne spezialisierter Ausschnitt des ursprünglichen Modells ist.

Dynamisches Batching bringt dem Router dann in zwei Schleifen das Routing bei: zuerst Batches aus derselben Domäne, damit sich die Expertenauswahl initialisiert, dann zyklisch gemischte Domänen, damit er tokenweises Multi-Experten-Routing lernt.

Auf Llama-3-8B, Mistral-7B und Qwen2-7B erreicht L0-MoE eine Inferenzbeschleunigung von 2,0x, 2,1x bzw. 2,5x bei Benchmark-Leistung vergleichbar mit den dichten Originalen – die Mistral-Variante liegt im Durchschnitt sogar etwa 1 % besser. Es übertrifft die Baselines GPTQ-Quantisierung, LLM Shearing und RKD+CoT-Destillation, die zwar beschleunigen, aber die Qualität verschlechtern; Ablationen zeigen, dass zufällige, magnitude-, OBS- und SVD-basierte Dimensionsauswahl alle gegen L0-gelernte Masken verlieren.

Experten nicht von Grund auf heranzüchten – sondern pro Domäne auswählen, welche der eigenen verborgenen Dimensionen des dichten Modells wichtig sind, und nur diese behalten

Die Hard-Concrete-Gates von L0 machen die Dimensionsauswahl differenzierbar, sodass „welche Neuronen für diese Domäne“ trainiert statt gesucht wird.

Das Einfrieren von allem außer den FFN-Masken bewahrt jeden Experten als echten Ausschnitt des ursprünglichen Modells, sodass die Qualität erhalten bleibt.

Die Cluster-Konfusionsmatrix ordnet die Domänen so, dass der Router zuerst auf vertraute und dann auf gemischte stößt.

Domänenpassende Batches bootstrappen das Routing auf Sequenzebene, bevor die tokenweise Auswahl auf gemischten Batches trainiert wird.

Ein dichtes Modell enthält seine Experten bereits; der Kniff besteht darin, herauszufinden, welche Neuronen zu welcher Domäne gehören. Domänenspezifische L0-Masken plus ein Domänen-Curriculum lösen sie zu einem Bruchteil der MoE-Trainingskosten heraus.

Veröffentlicht in den Proceedings of the 63rd Annual Meeting of the ACL (2025); Code und der kuratierte Datensatz wurden unter github.com/zhangzhenyu13/L0-MOE freigegeben. Die Autoren positionieren den Ansatz für kostensensible industrielle Einsätze, bei denen ein MoE-Training von Grund auf außer Reichweite ist.