L0-MoE, L0 정규화로 밀집 LLM의 자체 뉴런에서 도메인 전문가를 조각해 냈다

Mixture-of-Experts 모델은 빠른 추론을 제공하지만, 처음부터 하나를 학습시키거나 밀집 LLM을 업사이클링하는 데는 막대한 연산과 코퍼스가 필요하다 — DeepSeek-V3와 Qwen2.5-Max는 각각 14.8T 및 20T 토큰으로 사전 학습되었다. L0-MoE는 대신 사전 학습된 밀집 체크포인트와 선별된 30B 토큰 코퍼스로 동작하는 MoE를 구축한다.

메커니즘: BGE-M3 임베딩과 K-means로 코퍼스를 의미 도메인으로 클러스터링하고(클러스터 혼동 행렬이 의미 거리순으로 이들을 정렬한다), 그런 다음 각 도메인에 대해 L0 정규화를 사용하여 FFN 중간 차원에 대한 이진 마스크를 학습시키며, MLP 외부의 모든 것을 동결한 채 유지 비율을 100%에서 목표치까지 어닐링한다. 그 결과 64개의 전문가가 생성되며, 각각은 하나의 도메인에 특화된 원본 모델의 일부이다.

이어서 동적 배칭이 두 개의 루프로 라우터를 학습시킨다: 먼저 동일 도메인 배치로 전문가 선택이 초기화되고, 그다음 순환적으로 혼합된 도메인으로 토큰 수준의 다중 전문가 라우팅을 학습한다.

Llama-3-8B, Mistral-7B, Qwen2-7B에서 L0-MoE는 각각 2.0배, 2.1배, 2.5배의 추론 속도 향상을 달성하면서 벤치마크 성능은 밀집 원본과 비슷하다 — Mistral 변형은 평균 약 1% 더 우수하기까지 하다. 이는 속도는 높이지만 품질을 저하시키는 GPTQ 양자화, LLM shearing, RKD+CoT 증류 베이스라인을 능가하며, 절제 실험은 무작위, 크기, OBS, SVD 차원 선택이 모두 L0로 학습된 마스크에 뒤진다는 것을 보여준다.

전문가를 처음부터 키우지 말고 — 도메인별로 밀집 모델 자체의 은닉 차원 중 어떤 것이 중요한지 골라내고, 그것만 유지하라

L0의 하드 콘크리트 게이트는 차원 선택을 미분 가능하게 만들어, '이 도메인에는 어떤 뉴런인가'가 탐색이 아니라 학습된다.

FFN 마스크 외의 모든 것을 동결하면 각 전문가가 원본 모델의 진정한 일부로 유지되므로 품질이 살아남는다.

클러스터 혼동 행렬은 도메인을 정렬하여 라우터가 혼합된 도메인보다 익숙한 도메인을 먼저 만나게 한다.

도메인 일치 배치는 혼합 배치에서 토큰 수준 선택이 학습되기 전에 시퀀스 수준 라우팅을 부트스트랩한다.

밀집 모델은 이미 그 전문가들을 내포하고 있다; 요령은 어떤 뉴런이 어떤 도메인에 속하는지 찾는 것이다. 도메인별 L0 마스크와 도메인 커리큘럼이 MoE 학습 비용의 일부로 이들을 조각해 낸다.

제63회 ACL 연례 학술대회(2025) 논문집에 게재되었으며; 코드와 선별 데이터셋은 github.com/zhangzhenyu13/L0-MOE에서 공개되었다. 저자들은 이 접근법을 처음부터의 MoE 학습이 불가능한 비용 민감 산업 배포를 위한 것으로 위치시킨다.