O Google Brain abandonou a recorrência para que cada palavra pudesse atender a todas as palavras

Os modelos de sequência em 2017 eram construídos sobre recorrência ou convolução, que processam uma sequência uma parte de cada vez. A recorrência obriga o modelo a esperar pelo passo um antes de poder executar o passo dois, de modo que o contexto de longo alcance é lento para aprender e difícil de paralelizar entre hardwares.

O Transformer partiu de uma ideia chamada atenção e a levou ao seu limite lógico: abandonar a recorrência por completo e permitir que cada posição se compare com todas as outras posições em uma única operação. Cada palavra pode ponderar o quanto cada outra palavra importa antes de dar o próximo passo.

Como a sequência inteira pode ser processada em paralelo, o treinamento escala entre muitas GPUs com muito mais facilidade. Na tarefa de inglês para alemão do WMT 2014, o modelo superou o melhor anterior em mais de 2 pontos BLEU, e em inglês para francês estabeleceu um recorde de modelo único após 3,5 dias em oito GPUs — uma fração do custo de treinamento dos modelos então líderes.

O insight foi uma simplificação, não um modelo maior: ao remover o gargalo sequencial, a rede pôde aprender relações de longa distância de forma barata e em escala.

Permitir que cada token atenda a cada token

A atenção permite que cada token se relacione contextualmente com todos os outros tokens em uma única passagem paralela, não importa o quão distantes estejam.

O processamento paralelo significa que o modelo treina mais rápido e usa o hardware existente com muito mais eficiência.

A arquitetura se generaliza, alcançando resultados fortes em tradução e análise de constituintes sem alterações específicas para a tarefa.

Abandonar a recorrência removeu um gargalo estrutural em vez de ajustar um hiperparâmetro, uma mudança arquitetural que compensou em todos os lugares.

Substituir um processo serial por um paralelo é um ganho estrutural — a arquitetura, não apenas os dados, define o teto do que se pode aprender.

O Transformer tornou-se a arquitetura por trás de quase todos os modelos de linguagem modernos, incluindo os grandes modelos de chat da década de 2020, porque escala com dados e poder computacional de uma forma que as redes recorrentes não conseguiam. Sua substituição da recorrência pela atenção paralela é uma das decisões arquiteturais únicas mais consequentes do software moderno.