Google Brainは再帰を捨て、すべての単語がすべての単語に注意を向けられるようにした

2017年当時の系列モデルは再帰または畳み込みに基づいており、系列を一度に一部分ずつ処理していた。再帰では、ステップ2を行う前にステップ1を待たなければならないため、長距離の文脈を学習するのが遅く、ハードウェア間での並列化が難しかった。

Transformerはアテンションと呼ばれるアイデアを取り入れ、それを論理的な極限まで押し進めた。すなわち、再帰を完全に捨て去り、すべての位置が一度の演算で他のすべての位置と自分自身を比較できるようにした。各単語は、次のステップに進む前に、他のすべての単語がどれだけ重要かを重み付けできる。

系列全体を並列に処理できるため、学習は多数のGPUにまたがってはるかに容易にスケールする。WMT 2014の英語からドイツ語へのタスクでは、このモデルは従来の最良結果を2 BLEUポイント以上上回り、英語からフランス語へのタスクでは、8基のGPUで3.5日後に単一モデルの記録を樹立した。これは当時の最先端モデルの学習コストのほんの一部であった。

この洞察はモデルを大きくしたのではなく、単純化であった。逐次的なボトルネックを取り除くことで、ネットワークは長距離の関係を低コストかつ大規模に学習できるようになった。

すべてのトークンがすべてのトークンに注意を向けられるようにした

アテンションにより、すべてのトークンは、どれだけ離れていても、単一の並列パスで他のすべてのトークンと文脈的に関連付けられる。

並列処理により、モデルはより速く学習し、既存のハードウェアをはるかに効率的に利用する。

このアーキテクチャは汎用性があり、タスク固有の変更なしに翻訳と構成素解析で強い結果を達成する。

再帰を捨てたことはハイパーパラメータの調整ではなく構造的なボトルネックの除去であり、あらゆる場面で成果を上げたアーキテクチャの変更であった。

直列処理を並列処理に置き換えることは構造的な勝利である。データだけでなくアーキテクチャが、学習できることの上限を定める。

Transformerは、2020年代の大規模チャットモデルを含む、ほぼすべての現代の言語モデルの基盤となるアーキテクチャとなった。それは、再帰型ネットワークにはできなかった方法でデータと計算量に応じてスケールするからである。再帰を並列アテンションに置き換えたことは、現代のソフトウェアにおける最も影響の大きい単一のアーキテクチャ上の決定の一つである。