谷歌大脑弃用循环，让每个词都能关注到每个词

2017 年的序列模型基于循环或卷积，它们一次只能处理一个片段。循环迫使模型必须等第一步完成才能执行第二步，因此长距离依赖难以学习，也难以在硬件上并行化。

Transformer 借鉴了注意力机制并将其推向极致：彻底放弃循环，让每个位置在一次操作中与所有其他位置进行比较。每个词在决定下一步之前，可以先权衡其他词的重要性。

由于整个序列可以并行处理，训练在多块 GPU 上扩展轻松得多。在 WMT 2014 英德翻译任务上，模型超越了此前最佳水平 2 个多 BLEU 值；英法翻译任务上，模型仅用 8 块 GPU 训练 3.5 天就打破了单模型记录，成本是当时领先模型的几分之一。

这个洞察是简化而非扩大模型：移除顺序瓶颈，让网络能以更低成本和学习更大规模的长距离关系。

让每个词都能关注到每个词

注意力机制让每个词都能在单次并行计算中与他词上下文关联，无论距离多远。

并行处理意味着训练更快，对现有硬件的利用效率更高。

该架构具有通用性，无需修改就能在翻译和句法分析任务上取得强劲结果。

去掉循环是结构性优化，而非调参，这个架构改良带来了全方位的提升。

将串行过程改为并行是结构性的胜利——架构而非数据，决定了你能学到什么的上限。

Transformer 成为几乎所有现代语言模型的基础架构，包括 2020 年代的大型聊天模型，因为它能按数据与算力进行缩放，而这正是循环网络无法做到的。用并行注意力取代循环，是现代软件中影响最深远的架构决策之一。