Cascadia executou um modelo MoE de 975B parâmetros residente em onze PCs de IA

O Inkling é um modelo de mistura de especialistas com 975B parâmetros totais e 41B ativos. A equipe Cascadia o tornou residente em onze PCs de IA Intel Core Ultra X7 358H, cada um com 64 GB de memória, gráficos integrados Arc B390 e Ethernet gigabit — 704 GB de capacidade nominal distribuída por espaços de endereçamento independentes. Um motor personalizado preserva as regras de roteamento do Inkling, constrói grafos comprimidos para as primitivas fundidas de iGPU do OpenVINO e coordena a computação de especialistas em FP16 com restauração de saída em FP32, acomodando seis camadas de decodificador consecutivas por máquina.

Dois arranjos o tornaram rápido. Blocos densos de feed-forward são representados como fatias de especialistas totalmente ativas, reduzindo o tempo medido de chamada de camada densa de cerca de 8,1 para 4,5 ms. Um pipeline de streaming coordena a geração concorrente, alcançando 60,29 tokens/s de decodificação agregados em 88 streams (46,87 em fases completas de atendimento) em uma grade testada até 176 streams. O rascunho especulativo ajuda requisições individuais: um proponente híbrido usa correspondências de sufixo locais à requisição ou contextos compartilhados com pelo menos 90 por cento de concordância, apoiado por um modelo de rascunho Qwen3-0.6B em CPU — os ganhos de velocidade por requisição chegaram a 3,28x.

A equipe também mediu os limites com honestidade. Com o orçamento de contexto elevado a partir do padrão de 1.024 posições, prompts reais de 1k a 64k tokens recuperaram o código embutido em todas as 19 respostas medidas, e a memória comporta 512k posições por stream — mas o tempo até o primeiro token cresce como aN+bN ao quadrado porque um laço de atenção em CPU de thread única limita tudo (um núcleo ocupado por máquina enquanto a iGPU ficava entre 9 e 56 por cento ocupada). O paralelismo por cabeça e por bloco de chaves e a atenção na iGPU são apontados como os próximos passos, ainda não medidos.

Onze PCs de IA atuam como uma única frota MoE residente: seis camadas de decodificador por máquina, blocos densos como fatias de especialistas totalmente ativas, matemática de especialistas em FP16 com restauração em FP32.

A esparsidade do MoE significa que apenas 41B dos 975B parâmetros computam por token, então a restrição real da frota é o armazenamento de pesos, não a matemática.

Manter os pesos residentes e passar ativações entre as máquinas evita transmitir centenas de gigabytes pela Ethernet gigabit.

Blocos densos se tornam fatias de especialistas totalmente ativas, de modo que um único caminho de código atende tanto camadas esparsas quanto densas na iGPU.

A computação de especialistas em FP16 com restauração de saída em FP32 permanece próxima do caminho numérico implantado, verificado pela reprodução de estados capturados da frota.

A esparsidade muda a economia da escala: um modelo grande demais para qualquer máquina isolada torna-se servível quando os pesos permanecem residentes e apenas as ativações viajam.

Os números vêm da própria frota implantada: 88 streams provaram ser o melhor ponto de operação (8 por grupo de pipeline), 176 streams ainda sustentaram 57,72 tokens/s de decodificação agregados, e uma sonda de inicialização manteve 512k posições por stream. A avaliação de rascunho com estados capturados mediu a cabeça de predição multi-token fornecida com o Inkling em 66,81 por cento de concordância no primeiro rascunho, caindo apenas para 64,36 por cento com um vocabulário de 65.536 tokens e grades de pesos INT4/INT8. O artigo enquadra a configuração como uma abordagem de execução e avaliação para modelos esparsos grandes em sistemas cliente distribuídos.