Google Brain 捨棄循環機制，讓每個詞都能關注每個詞

2017 年的序列模型建立在循環或卷積之上，一次只處理序列的一個片段。循環機制迫使模型必須先完成第一步，才能進行第二步，因此長距離脈絡的學習速度緩慢，也難以在硬體上平行化。

Transformer 借鑒了一個稱為注意力的概念，並將其推展到邏輯上的極致：完全捨棄循環機制，讓每個位置在一次運算中與其他所有位置進行比較。每個詞都能衡量其他每個詞的重要性，再決定下一步。

由於整個序列可以平行處理，訓練能更輕鬆地擴展到多個 GPU。在 WMT 2014 英德翻譯任務上，該模型以超過 2 個 BLEU 分的差距擊敗先前的最佳成績；在英法翻譯任務上，它則在八個 GPU 上訓練 3.5 天後創下單一模型紀錄——訓練成本僅是當時領先模型的一小部分。

這項洞見是一種簡化，而非更大的模型：透過移除序列瓶頸，網路得以低成本且大規模地學習長距離關係。

讓每個詞元都能關注每個詞元

注意力讓每個詞元能在單次平行處理中，與其他所有詞元建立脈絡關聯，無論彼此相距多遠。

平行處理意味著模型訓練更快，並更有效率地運用現有硬體。

此架構具有泛化能力，無需針對特定任務進行調整，即可在翻譯與成分剖析上達到強勁成果。

捨棄循環機制是移除結構性瓶頸，而非調整超參數，這項架構變革在各處都帶來回報。

以平行流程取代序列流程是一項結構性優勢——決定你能學到什麼上限的，是架構，而不只是資料。

Transformer 成為幾乎所有現代語言模型背後的架構，包括 2020 年代的大型聊天模型，因為它能以循環網路無法做到的方式隨資料與運算量擴展。它以平行注意力取代循環機制，是現代軟體中最具影響力的單一架構決策之一。