Google Brain verwarf die Rekurrenz, damit jedes Wort auf jedes Wort achten konnte

Sequenzmodelle im Jahr 2017 basierten auf Rekurrenz oder Faltung, die eine Sequenz Stück für Stück verarbeiten. Rekurrenz zwingt das Modell, auf Schritt eins zu warten, bevor es Schritt zwei ausführen kann, sodass weitreichender Kontext nur langsam erlernt wird und sich schwer über Hardware hinweg parallelisieren lässt.

Der Transformer griff eine Idee namens Aufmerksamkeit auf und trieb sie bis zu ihrem logischen Ende: die Rekurrenz vollständig fallen zu lassen und jede Position sich in einem einzigen Vorgang mit jeder anderen Position vergleichen zu lassen. Jedes Wort kann abwägen, wie sehr jedes andere Wort zählt, bevor es den nächsten Schritt geht.

Da die gesamte Sequenz parallel verarbeitet werden kann, lässt sich das Training weit leichter über viele GPUs skalieren. Bei der Aufgabe Englisch nach Deutsch auf WMT 2014 übertraf das Modell den bisherigen Bestwert um über 2 BLEU-Punkte, und bei Englisch nach Französisch stellte es nach 3,5 Tagen auf acht GPUs einen Einzelmodell-Rekord auf — ein Bruchteil der Trainingskosten der damals führenden Modelle.

Die Erkenntnis war eine Vereinfachung, kein größeres Modell: Durch das Entfernen des sequenziellen Engpasses konnte das Netzwerk weitreichende Beziehungen kostengünstig und in großem Maßstab erlernen.

Jedes Token auf jedes Token achten lassen

Aufmerksamkeit ermöglicht es jedem Token, sich in einem einzigen parallelen Durchlauf kontextuell auf jedes andere Token zu beziehen, egal wie weit sie voneinander entfernt sind.

Parallele Verarbeitung bedeutet, dass das Modell schneller trainiert und vorhandene Hardware weit effizienter nutzt.

Die Architektur verallgemeinert und erzielt starke Ergebnisse bei Übersetzung und Konstituentenparsing ohne aufgabenspezifische Änderungen.

Das Verwerfen der Rekurrenz beseitigte einen strukturellen Engpass statt einen Hyperparameter abzustimmen — eine architektonische Änderung, die sich überall auszahlte.

Einen seriellen Prozess durch einen parallelen zu ersetzen, ist ein struktureller Gewinn — die Architektur, nicht nur die Daten, setzt die Obergrenze dessen, was man lernen kann.

Der Transformer wurde zur Architektur unter nahezu allen modernen Sprachmodellen, einschließlich der großen Chat-Modelle der 2020er Jahre, weil er mit Daten und Rechenleistung in einer Weise skaliert, wie es rekurrente Netzwerke nicht konnten. Seine Ersetzung der Rekurrenz durch parallele Aufmerksamkeit ist eine der folgenreichsten einzelnen Architekturentscheidungen in der modernen Software.