Google Brain abandonó la recurrencia para que cada palabra pudiera atender a todas las demás

Los modelos de secuencia de 2017 se construían sobre recurrencia o convolución, que procesan una secuencia pieza a pieza. La recurrencia obliga al modelo a esperar al paso uno antes de poder hacer el paso dos, por lo que el contexto de largo alcance tarda en aprenderse y es difícil de paralelizar en el hardware.

El Transformer se basó en una idea llamada atención y la llevó hasta su conclusión lógica: eliminar por completo la recurrencia y dejar que cada posición se compare con todas las demás posiciones en una sola operación. Cada palabra puede sopesar cuánto importa cada una de las otras palabras antes de dar el siguiente paso.

Como toda la secuencia puede procesarse en paralelo, el entrenamiento escala entre muchas GPU con mucha más facilidad. En la tarea de inglés a alemán de WMT 2014, el modelo superó al mejor anterior por más de 2 puntos BLEU, y en inglés a francés estableció un récord de modelo único tras 3,5 días en ocho GPU, una fracción del coste de entrenamiento de los modelos líderes de entonces.

La idea era una simplificación, no un modelo más grande: al eliminar el cuello de botella secuencial, la red podía aprender relaciones de larga distancia de forma barata y a escala.

Dejar que cada token atienda a cada token

La atención permite que cada token se relacione contextualmente con todos los demás tokens en una sola pasada paralela, sin importar lo separados que estén.

El procesamiento en paralelo significa que el modelo entrena más rápido y utiliza el hardware existente de forma mucho más eficiente.

La arquitectura se generaliza y alcanza buenos resultados en traducción y análisis de constituyentes sin cambios específicos para la tarea.

Eliminar la recurrencia suprimió un cuello de botella estructural en lugar de ajustar un hiperparámetro, un cambio arquitectónico que dio frutos en todas partes.

Sustituir un proceso serial por uno paralelo es una ventaja estructural: la arquitectura, no solo los datos, fija el techo de lo que se puede aprender.

El Transformer se convirtió en la arquitectura subyacente a casi todos los modelos de lenguaje modernos, incluidos los grandes modelos de chat de la década de 2020, porque escala con los datos y el cómputo de una forma que las redes recurrentes no podían. Su sustitución de la recurrencia por atención paralela es una de las decisiones arquitectónicas individuales más trascendentales del software moderno.