Os Tensor Cores da NVIDIA tornaram a baixa precisão suficientemente precisa para IA e HPC

O aprendizado profundo fez da multiplicação densa de matrizes o laço computacional mais crítico. A resposta óbvia era mais unidades de ponto flutuante comuns, mas isso gastaria silício e energia com uma precisão de que muitos modelos não precisavam.

Com a Volta em 2017, a NVIDIA adicionou os Tensor Cores: unidades de multiplicação-acumulação de matrizes 4 por 4 que recebem entradas em FP16 enquanto acumulam em FP32. Estudos numéricos posteriores mostraram por que o projeto importava: não se tratava simplesmente de menor precisão, mas de uma operação dedicada de precisão mista.

Pesquisadores então usaram refinamento iterativo para levar o truque além das redes neurais. Um artigo da Royal Society relatou ganhos de velocidade de 4x a 5x e cerca de 5x melhor eficiência energética em uma GPU Volta, mantendo estabilidade de nível FP64 para resoluções de sistemas lineares.

Calcular barato, acumular com cuidado

A multiplicação de matrizes é densa o suficiente para justificar uma unidade dedicada em hardware, em vez de apenas núcleos CUDA de uso geral.

As entradas em FP16 reduzem a largura de banda e o custo dos multiplicadores, enquanto a acumulação em FP32 impede que a soma colapse imediatamente.

O refinamento iterativo transforma resoluções rápidas e aproximadas em respostas finais precisas.

Colocar o caminho nas bibliotecas CUDA permitiu que o software comum herdasse o truque de hardware.

Quando a precisão total é cara demais, divida o trabalho. Use baixa precisão onde os erros podem ser reparados e reserve a alta precisão para as etapas que fiscalizam a resposta.

Os Tensor Cores tornaram-se um diferencial central da NVIDIA ao longo da Volta, Turing e Ampere. A ideia também escapou da IA: solvers de precisão mista, kernels científicos e, mais tarde, fluxos de trabalho com TF32 usaram o mesmo padrão de aritmética aproximada rápida mais reparo de precisão.