Les Tensor Cores de NVIDIA ont rendu la basse précision suffisamment exacte pour l'IA et le HPC

L'apprentissage profond a fait de la multiplication matricielle dense la boucle critique. La réponse évidente consistait à ajouter davantage d'unités à virgule flottante ordinaires, mais cela aurait consommé du silicium et de l'énergie pour une précision dont beaucoup de modèles n'avaient pas besoin.

Avec Volta en 2017, NVIDIA a ajouté les Tensor Cores : des unités de multiplication-accumulation matricielle 4 par 4 prenant des entrées FP16 tout en accumulant en FP32. Des études numériques ultérieures ont montré pourquoi cette conception importait : il ne s'agissait pas simplement d'une précision inférieure, mais d'une opération dédiée à précision mixte.

Les chercheurs ont ensuite utilisé le raffinement itératif pour pousser cette astuce au-delà des réseaux de neurones. Un article de la Royal Society a rapporté des accélérations de 4x à 5x et une efficacité énergétique environ 5x meilleure sur un GPU Volta, tout en maintenant une stabilité de niveau FP64 pour la résolution de systèmes linéaires.

Calculer à moindre coût, accumuler avec soin

La multiplication matricielle est suffisamment dense pour justifier une unité câblée en dur plutôt que de s'appuyer uniquement sur des cœurs CUDA généraux.

Les entrées FP16 réduisent la bande passante et le coût des multiplicateurs, tandis que l'accumulation en FP32 empêche la somme de s'effondrer immédiatement.

Le raffinement itératif transforme des résolutions rapides approximatives en réponses finales exactes.

Le fait de placer ce chemin dans les bibliothèques CUDA a permis aux logiciels ordinaires d'hériter de cette astuce matérielle.

Lorsque la pleine précision coûte trop cher, divisez le travail. Utilisez la basse précision là où les erreurs peuvent être corrigées, et réservez la haute précision aux étapes qui contrôlent la réponse.

Les Tensor Cores sont devenus un différenciateur central de NVIDIA à travers Volta, Turing et Ampere. L'idée a aussi dépassé l'IA : les solveurs à précision mixte, les noyaux scientifiques et, plus tard, les flux de travail TF32 ont utilisé le même schéma d'arithmétique approximative rapide complétée par une réparation de l'exactitude.