L0-MoE extrajo expertos de dominio de las propias neuronas de un LLM denso mediante regularización L0

Los modelos de mezcla de expertos ofrecen una inferencia rápida, pero entrenar uno desde cero o reconvertir un LLM denso exige una enorme cantidad de cómputo y de corpus: DeepSeek-V3 y Qwen2.5-Max se preentrenaron con 14,8T y 20T de tokens. L0-MoE, en cambio, construye un MoE funcional a partir de un checkpoint denso preentrenado y un corpus curado de 30B de tokens.

El mecanismo: agrupar el corpus en dominios semánticos con embeddings BGE-M3 y K-means (una matriz de confusión de clústeres los ordena por distancia semántica) y, después, para cada dominio, entrenar una máscara binaria sobre las dimensiones intermedias de la FFN usando regularización L0, reduciendo progresivamente la ratio de retención desde el 100% hasta el objetivo mientras se congela todo lo que está fuera de los MLP. Así se obtienen 64 expertos, cada uno una porción del modelo original especializada en un dominio.

El batching dinámico enseña después al router en dos bucles: primero lotes del mismo dominio para que se inicialice la selección de expertos, y luego dominios mezclados cíclicamente para que aprenda un enrutamiento multi-experto a nivel de token.

En Llama-3-8B, Mistral-7B y Qwen2-7B, L0-MoE alcanza aceleraciones de inferencia de 2,0x, 2,1x y 2,5x respectivamente, con un rendimiento en los benchmarks comparable al de los originales densos; la variante de Mistral incluso promedia alrededor de un 1% mejor. Supera a la cuantización GPTQ, a LLM shearing y a las líneas base de destilación RKD+CoT, que aceleran pero degradan la calidad; los ablations muestran que la selección de dimensiones aleatoria, por magnitud, OBS y SVD pierden todas frente a las máscaras aprendidas con L0.

No hacer crecer expertos desde cero, sino elegir, por dominio, cuáles de las propias dimensiones ocultas del modelo denso importan y conservar solo esas

Las compuertas hard-concrete de L0 hacen que la selección de dimensiones sea diferenciable, de modo que «qué neuronas para este dominio» se entrena en lugar de buscarse.

Congelar todo excepto las máscaras de la FFN mantiene cada experto como una verdadera porción del modelo original, por lo que la calidad se conserva.

La matriz de confusión de clústeres ordena los dominios para que el router encuentre primero los familiares antes que los mezclados.

Los lotes emparejados por dominio inicializan el enrutamiento a nivel de secuencia antes de que la selección a nivel de token se entrene con lotes mezclados.

Un modelo denso ya contiene sus expertos; el truco está en encontrar qué neuronas pertenecen a qué dominio. Las máscaras L0 por dominio más un currículo de dominios los extraen a una fracción del coste de entrenamiento de un MoE.

Publicado en las Actas de la 63.ª Reunión Anual de la ACL (2025); el código y el conjunto de datos curado se publicaron en github.com/zhangzhenyu13/L0-MOE. Los autores sitúan el enfoque en despliegues industriales sensibles al coste, donde el entrenamiento de un MoE desde cero está fuera de alcance.