L0-MoE extraiu especialistas de domínio dos próprios neurônios de um LLM denso com regularização L0

Modelos de mistura de especialistas (MoE) proporcionam inferência rápida, mas treinar um do zero ou fazer upcycling de um LLM denso exige enorme poder computacional e corpora — DeepSeek-V3 e Qwen2.5-Max foram pré-treinados com 14,8T e 20T de tokens. O L0-MoE, em vez disso, constrói um MoE funcional a partir de um checkpoint denso pré-treinado e um corpus curado de 30B de tokens.

O mecanismo: agrupar o corpus em domínios semânticos com embeddings BGE-M3 e K-means (uma matriz de confusão de clusters os ordena por distância semântica) e, em seguida, para cada domínio, treinar uma máscara binária sobre as dimensões intermediárias da FFN usando regularização L0, reduzindo gradualmente a taxa de retenção de 100% até o alvo enquanto congela tudo fora das MLPs. Isso produz 64 especialistas, cada um uma fatia do modelo original especializada em um domínio.

O batching dinâmico então ensina o roteador em dois laços: primeiro lotes do mesmo domínio, para que a seleção de especialistas se inicialize; depois domínios misturados ciclicamente, para que ele aprenda roteamento multi-especialista em nível de token.

No Llama-3-8B, Mistral-7B e Qwen2-7B, o L0-MoE alcança aceleração de inferência de 2,0x, 2,1x e 2,5x, respectivamente, com desempenho em benchmarks comparável ao dos originais densos — a variante do Mistral chega a ter média cerca de 1% melhor. Ele supera a quantização GPTQ, o LLM shearing e as baselines de destilação RKD+CoT, que aceleram mas degradam a qualidade; as ablações mostram que a seleção de dimensões aleatória, por magnitude, OBS e SVD perde para as máscaras aprendidas por L0.

Não cresça especialistas do zero — escolha, por domínio, quais das próprias dimensões ocultas do modelo denso importam, e mantenha apenas essas

Os portões hard-concrete do L0 tornam a seleção de dimensões diferenciável, de modo que 'quais neurônios para este domínio' é treinado em vez de buscado.

Congelar tudo exceto as máscaras da FFN mantém cada especialista uma fatia verdadeira do modelo original, então a qualidade sobrevive.

A matriz de confusão de clusters ordena os domínios para que o roteador encontre os familiares antes dos misturados.

Lotes correspondentes ao domínio inicializam o roteamento em nível de sequência antes que a seleção em nível de token seja treinada em lotes misturados.

Um modelo denso já contém seus especialistas; o truque é descobrir quais neurônios pertencem a qual domínio. Máscaras L0 por domínio mais um currículo de domínios os extraem a uma fração do custo de treinamento de um MoE.

Publicado nos Anais da 63ª Reunião Anual da ACL (2025); código e o conjunto de dados curado disponibilizados em github.com/zhangzhenyu13/L0-MOE. Os autores posicionam a abordagem para implantações industriais sensíveis a custo, onde o treinamento de um MoE do zero está fora de alcance.