NVIDIA Tensor Cores machten niedrige Präzision genau genug für KI und HPC

Deep Learning machte dichte Matrizenmultiplikation zur heißen Schleife. Die naheliegende Antwort waren mehr gewöhnliche Gleitkommaeinheiten, doch das würde Silizium und Energie für Präzision aufwenden, die viele Modelle nicht brauchten.

Mit Volta fügte NVIDIA 2017 Tensor Cores hinzu: 4-mal-4-Matrix-Multiply-Accumulate-Einheiten, die FP16-Eingaben aufnehmen und dabei in FP32 akkumulieren. Spätere numerische Studien zeigten, warum das Design wichtig war: Es handelte sich nicht einfach um niedrigere Präzision, sondern um eine dedizierte Mixed-Precision-Operation.

Forschende nutzten anschließend iterative Verfeinerung, um den Trick über neuronale Netze hinaus auszudehnen. Ein Paper der Royal Society berichtete von 4- bis 5-fachen Beschleunigungen und etwa 5-fach besserer Energieeffizienz auf einer Volta-GPU bei gleichzeitiger Aufrechterhaltung einer Stabilität auf FP64-Niveau für lineare Löser.

Günstig rechnen, sorgfältig akkumulieren

Matrizenmultiplikation ist dicht genug, um eine fest verdrahtete Einheit statt nur allgemeiner CUDA-Kerne zu rechtfertigen.

FP16-Eingaben senken Bandbreite und Multiplikatorkosten, während die FP32-Akkumulation verhindert, dass die Summe sofort kollabiert.

Iterative Verfeinerung verwandelt schnelle Näherungslösungen in genaue Endergebnisse.

Indem der Pfad in CUDA-Bibliotheken gelegt wurde, konnte gewöhnliche Software den Hardware-Trick erben.

Wenn volle Präzision zu teuer ist, teilen Sie die Aufgabe auf. Verwenden Sie niedrige Präzision dort, wo Fehler repariert werden können, und reservieren Sie hohe Präzision für die Schritte, die die Antwort kontrollieren.

Tensor Cores wurden zu einem zentralen Unterscheidungsmerkmal von NVIDIA über Volta, Turing und Ampere hinweg. Die Idee entkam auch der KI: Mixed-Precision-Löser, wissenschaftliche Kernel und spätere TF32-Workflows nutzten dasselbe Muster aus schneller approximativer Arithmetik plus Genauigkeitsreparatur.