Google Brain a abandonné la récurrence pour que chaque mot puisse prêter attention à chaque mot

En 2017, les modèles de séquence reposaient sur la récurrence ou la convolution, qui traitent une séquence élément par élément. La récurrence force le modèle à attendre l'étape un avant de pouvoir effectuer l'étape deux, si bien que le contexte à longue portée est lent à apprendre et difficile à paralléliser sur le matériel.

Le Transformer s'est appuyé sur une idée appelée attention et l'a poussée jusqu'à son terme logique : supprimer entièrement la récurrence et laisser chaque position se comparer à toutes les autres positions en une seule opération. Chaque mot peut pondérer l'importance de chaque autre mot avant de passer à l'étape suivante.

Comme toute la séquence peut être traitée en parallèle, l'entraînement s'étend bien plus facilement sur de nombreux GPU. Sur la tâche anglais-allemand de WMT 2014, le modèle a dépassé le meilleur résultat précédent de plus de 2 points BLEU, et sur l'anglais-français, il a établi un record en modèle unique après 3,5 jours sur huit GPU — une fraction du coût d'entraînement des modèles alors dominants.

L'idée maîtresse était une simplification, non un modèle plus gros : en supprimant le goulot d'étranglement séquentiel, le réseau pouvait apprendre à moindre coût les relations à longue distance, et ce à grande échelle.

Permettre à chaque token de prêter attention à chaque token

L'attention permet à chaque token d'entretenir une relation contextuelle avec chaque autre token en une seule passe parallèle, quelle que soit la distance qui les sépare.

Le traitement parallèle signifie que le modèle s'entraîne plus vite et utilise le matériel existant bien plus efficacement.

L'architecture se généralise, atteignant de solides résultats en traduction et en analyse syntaxique en constituants sans aucune modification spécifique à la tâche.

Abandonner la récurrence a supprimé un goulot d'étranglement structurel plutôt que d'ajuster un hyperparamètre, un changement architectural qui a porté ses fruits partout.

Remplacer un processus séquentiel par un processus parallèle est un gain structurel — l'architecture, et pas seulement les données, fixe le plafond de ce que l'on peut apprendre.

Le Transformer est devenu l'architecture sous-jacente à presque tous les modèles de langage modernes, y compris les grands modèles de conversation des années 2020, parce qu'il passe à l'échelle avec les données et la puissance de calcul d'une manière que les réseaux récurrents ne pouvaient pas. Son remplacement de la récurrence par l'attention parallèle est l'une des décisions architecturales uniques les plus lourdes de conséquences du logiciel moderne.