Cascadia ejecutó un modelo MoE de 975B parámetros residente en once PC de IA

Inkling es un modelo de mezcla de expertos con 975B parámetros totales y 41B activos. El equipo de Cascadia lo hizo residente en once PC de IA Intel Core Ultra X7 358H, cada una con 64 GB de memoria, gráficos integrados Arc B390 y Ethernet gigabit: 704 GB de capacidad nominal repartidos entre espacios de direcciones independientes. Un motor personalizado conserva las reglas de enrutamiento de Inkling, construye grafos comprimidos para las primitivas fusionadas de iGPU de OpenVINO y coordina el cálculo de expertos en FP16 con restauración de salida en FP32, encajando seis capas decodificadoras consecutivas por máquina.

Dos disposiciones lo hicieron rápido. Los bloques densos de feed-forward se representan como porciones de expertos totalmente activas, lo que reduce el tiempo medido de llamada a capa densa de unos 8,1 a 4,5 ms. Una canalización de streaming coordina la generación concurrente y alcanza 60,29 tokens/s de decodificación agregados con 88 flujos (46,87 en fases de servicio completas) sobre una malla probada hasta 176 flujos. El borrador especulativo ayuda a las solicitudes individuales: un proponente híbrido usa coincidencias de sufijo locales a la solicitud o contextos compartidos con al menos un 90 por ciento de concordancia, respaldado por un modelo borrador Qwen3-0.6B en CPU; las aceleraciones por solicitud llegaron a 3,28x.

El equipo también midió los límites con honestidad. Con el presupuesto de contexto elevado desde el valor predeterminado de 1.024 posiciones, las solicitudes reales de 1k a 64k tokens recuperaron el código incrustado en las 19 respuestas medidas, y la memoria admite 512k posiciones por flujo; pero el tiempo hasta el primer token crece como aN+bN al cuadrado porque un bucle de atención en CPU de un solo hilo lo limita todo (un núcleo ocupado por máquina mientras la iGPU estaba entre un 9 y un 56 por ciento ocupada). El paralelismo de cabezas y bloques de claves y la atención en iGPU se señalan como los siguientes pasos, aún sin medir.

Once PC de IA actúan como una sola flota MoE residente: seis capas decodificadoras por máquina, bloques densos como porciones de expertos totalmente activas, aritmética de expertos en FP16 con restauración en FP32.

La dispersión de MoE significa que solo 41B de los 975B parámetros se calculan por token, así que la restricción real de la flota es el almacenamiento de pesos, no la aritmética.

Mantener los pesos residentes y pasar las activaciones entre máquinas evita transmitir cientos de gigabytes por Ethernet gigabit.

Los bloques densos se convierten en porciones de expertos totalmente activas para que una sola ruta de código sirva tanto a las capas dispersas como a las densas en la iGPU.

El cálculo de expertos en FP16 con restauración de salida en FP32 se mantiene cerca de la ruta numérica desplegada, verificado mediante la reproducción de estados de flota capturados.

La dispersión cambia la economía de la escala: un modelo demasiado grande para cualquier máquina individual se vuelve servible cuando los pesos permanecen residentes y solo viajan las activaciones.

Las cifras provienen de la propia flota desplegada: 88 flujos demostraron ser el mejor punto de operación (8 por grupo de canalización), 176 flujos aún sostuvieron 57,72 tokens/s de decodificación agregados, y una sonda de arranque mantuvo 512k posiciones por flujo. La evaluación de borradores sobre estados capturados midió la cabeza de predicción multi-token incluida de Inkling en un 66,81 por ciento de concordancia en el primer borrador, cayendo solo al 64,36 por ciento con un vocabulario de 65.536 tokens y rejillas de pesos INT4/INT8. El artículo enmarca la configuración como un enfoque de ejecución y evaluación para modelos dispersos grandes en sistemas cliente distribuidos.