Los Tensor Cores de NVIDIA hicieron que la baja precisión fuera lo bastante exacta para la IA y la HPC

El aprendizaje profundo convirtió la multiplicación matricial densa en el bucle crítico. La respuesta obvia era más unidades de coma flotante convencionales, pero eso habría gastado silicio y energía en una precisión que muchos modelos no necesitaban.

Con Volta en 2017, NVIDIA añadió los Tensor Cores: unidades de multiplicación-acumulación de matrices de 4 por 4 que toman entradas FP16 mientras acumulan en FP32. Estudios numéricos posteriores mostraron por qué importaba el diseño: no se trataba simplemente de menor precisión, sino de una operación dedicada de precisión mixta.

Los investigadores usaron entonces refinamiento iterativo para llevar el truco más allá de las redes neuronales. Un artículo de la Royal Society reportó aceleraciones de 4x a 5x y una eficiencia energética aproximadamente 5x mejor en una GPU Volta, manteniendo la estabilidad de nivel FP64 para resolver sistemas lineales.

Calcular de forma barata, acumular con cuidado

La multiplicación matricial es lo bastante densa como para justificar una unidad cableada en hardware en lugar de solo núcleos CUDA de propósito general.

Las entradas FP16 reducen el ancho de banda y el coste de los multiplicadores, mientras que la acumulación en FP32 evita que la suma colapse de inmediato.

El refinamiento iterativo convierte resoluciones rápidas aproximadas en respuestas finales exactas.

Colocar la ruta en las bibliotecas CUDA permitió que el software ordinario heredara el truco del hardware.

Cuando la precisión completa es demasiado costosa, divide el trabajo. Usa baja precisión donde los errores puedan repararse y reserva la alta precisión para los pasos que controlan la respuesta.

Los Tensor Cores se convirtieron en un diferenciador central de NVIDIA a través de Volta, Turing y Ampere. La idea también trascendió la IA: los solucionadores de precisión mixta, los kernels científicos y los flujos de trabajo posteriores con TF32 usaron el mismo patrón de aritmética aproximada rápida más reparación de la exactitud.