L0-MoE : des experts de domaine taillés dans les propres neurones d'un LLM dense grâce à la régularisation L0

Les modèles Mixture-of-Experts offrent une inférence rapide, mais en entraîner un depuis zéro ou convertir un LLM dense par upcycling exige une puissance de calcul et des corpus considérables — DeepSeek-V3 et Qwen2.5-Max ont été préentraînés sur 14,8 T et 20 T de tokens. L0-MoE construit au contraire un MoE fonctionnel à partir d'un point de contrôle dense préentraîné et d'un corpus sélectionné de 30 B de tokens.

Le mécanisme : regrouper le corpus en domaines sémantiques avec les embeddings BGE-M3 et K-means (une matrice de confusion des clusters les ordonne par distance sémantique), puis, pour chaque domaine, entraîner un masque binaire sur les dimensions intermédiaires du FFN à l'aide d'une régularisation L0, en faisant décroître le taux de rétention de 100 % jusqu'à la cible tout en gelant tout ce qui se trouve en dehors des MLP. On obtient ainsi 64 experts, chacun étant une tranche du modèle d'origine spécialisée pour un domaine.

Le batching dynamique apprend ensuite au routeur, en deux boucles : d'abord des lots d'un même domaine pour initialiser la sélection d'experts, puis des domaines mélangés cycliquement pour qu'il apprenne le routage multi-experts au niveau des tokens.

Sur Llama-3-8B, Mistral-7B et Qwen2-7B, L0-MoE atteint respectivement un gain de vitesse d'inférence de 2,0x, 2,1x et 2,5x, avec des performances aux benchmarks comparables aux originaux denses — la variante de Mistral obtient même en moyenne environ 1 % de mieux. Il surpasse la quantification GPTQ, l'élagage LLM (LLM shearing) et les références de distillation RKD+CoT, qui accélèrent mais dégradent la qualité ; les ablations montrent que la sélection de dimensions aléatoire, par magnitude, OBS et SVD perdent toutes face aux masques appris par L0.

Ne pas faire croître des experts depuis zéro — choisir, pour chaque domaine, lesquelles des dimensions cachées du modèle dense comptent, et ne garder que celles-là

Les portes hard-concrete de L0 rendent la sélection de dimensions différentiable, de sorte que « quels neurones pour ce domaine » est appris plutôt que recherché.

Geler tout sauf les masques du FFN maintient chaque expert comme une véritable tranche du modèle d'origine, ce qui préserve la qualité.

La matrice de confusion des clusters ordonne les domaines afin que le routeur rencontre les familiers avant les mélangés.

Des lots appariés au domaine amorcent le routage au niveau de la séquence avant que la sélection au niveau des tokens ne soit entraînée sur des lots mélangés.

Un modèle dense contient déjà ses experts ; l'astuce consiste à trouver quels neurones appartiennent à quel domaine. Des masques L0 par domaine plus un curriculum de domaines les taillent pour une fraction du coût d'entraînement d'un MoE.

Publié dans les actes de la 63e réunion annuelle de l'ACL (2025) ; le code et le jeu de données sélectionné sont publiés à l'adresse github.com/zhangzhenyu13/L0-MOE. Les auteurs positionnent l'approche pour des déploiements industriels sensibles aux coûts, où un entraînement de MoE depuis zéro est hors de portée.