Cascadia, 11대의 AI PC에 상주시킨 975B 파라미터 MoE 모델을 구동하다

Inkling은 전체 975B, 활성 41B 파라미터의 전문가 혼합(MoE) 모델이다. Cascadia 팀은 이를 11대의 Intel Core Ultra X7 358H AI PC에 상주시켰으며, 각 PC는 64GB 메모리, Arc B390 통합 그래픽, 기가비트 이더넷을 갖추고 있다. 즉 독립적인 주소 공간에 분산된 명목상 704GB의 용량이다. 맞춤형 엔진은 Inkling의 라우팅 규칙을 보존하고, OpenVINO의 융합 iGPU 프리미티브를 위한 압축 그래프를 생성하며, FP16 전문가 연산과 FP32 출력 복원을 조정하여 머신당 6개의 연속 디코더 레이어를 수용한다.

두 가지 배치가 속도를 높였다. 밀집 피드포워드 블록을 전부 활성인 전문가 슬라이스로 표현하여 측정된 밀집 레이어 호출 시간을 약 8.1ms에서 4.5ms로 줄였다. 스트리밍 파이프라인은 동시 생성을 조정하여 176개 스트림까지 테스트된 그리드에서 88개 스트림 기준 초당 60.29개의 집계 디코드 토큰(완전한 서빙 단계에서는 46.87)에 도달했다. 투기적 드래프팅은 단일 요청에 도움이 된다. 하이브리드 제안기는 요청 로컬 접미사 일치 또는 최소 90퍼센트 일치도를 가진 공유 컨텍스트를 사용하며, Qwen3-0.6B CPU 드래프트 모델로 뒷받침되어 요청당 최대 3.28배의 속도 향상을 보였다.

팀은 한계도 솔직하게 측정했다. 컨텍스트 예산을 기본값인 1,024 위치에서 높였을 때, 1k에서 64k 토큰의 실제 프롬프트가 측정된 19개 답변 모두에서 내장 코드를 복원했고, 메모리는 스트림당 512k 위치를 보유한다. 그러나 첫 토큰 시간은 aN+bN제곱으로 증가하는데, 단일 스레드 CPU 어텐션 루프가 모든 것을 제약하기 때문이다(머신당 하나의 코어가 바쁘고 iGPU는 9~56퍼센트만 사용됨). 헤드 및 키 블록 병렬화와 iGPU 어텐션은 다음 단계로 명시되었으나 아직 측정되지 않았다.

11대의 AI PC가 하나의 상주 MoE 플릿으로 작동한다. 머신당 6개의 디코더 레이어, 밀집 블록은 전부 활성인 전문가 슬라이스로, FP16 전문가 연산에 FP32 복원을 적용한다.

MoE 희소성 덕분에 토큰당 975B 중 41B 파라미터만 연산하므로, 플릿의 실제 제약은 연산이 아니라 가중치 저장이다.

가중치를 상주시키고 머신 간에 활성화 값을 전달하면 기가비트 이더넷으로 수백 기가바이트를 스트리밍하는 것을 피할 수 있다.

밀집 블록을 전부 활성인 전문가 슬라이스로 만들어 하나의 코드 경로가 iGPU에서 희소 및 밀집 레이어 모두를 처리한다.

FP16 전문가 연산과 FP32 출력 복원은 배포된 수치 경로에 가깝게 유지되며, 캡처된 플릿 상태를 재생하여 검증되었다.

희소성은 규모의 경제성을 바꾼다. 어떤 단일 박스에도 너무 큰 모델이 가중치를 상주시키고 활성화 값만 이동시킬 때 서빙 가능해진다.

수치는 배포된 플릿 자체에서 나왔다. 88개 스트림이 최적 운영점(파이프라인 그룹당 8개)임을 입증했고, 176개 스트림에서도 초당 57.72개의 집계 디코드 토큰을 유지했으며, 시작 프로브는 스트림당 512k 위치를 보유했다. 캡처 상태 드래프트 평가는 Inkling의 출시된 다중 토큰 예측 헤드를 첫 드래프트 일치도 66.81퍼센트로 측정했고, 65,536 토큰 어휘와 INT4/INT8 가중치 그리드에서는 64.36퍼센트로만 떨어졌다. 논문은 이 설정을 분산 클라이언트 시스템에서 대규모 희소 모델을 위한 실행 및 평가 접근법으로 규정한다.