El transformer es una arquitectura de red neuronal que procesa una secuencia entera de una sola vez y deja que cada posición «consulte» a todas las demás mediante atención. Se presentó en 2017 como traductor automático y terminó siendo la base de casi todos los modelos de lenguaje actuales.
Construido para traducir
El problema de partida era la traducción automática. Los mejores sistemas de la época eran codificadores–decodificadores recurrentes con atención (Atención de Bahdanau), el esquema que Google había llevado a su traductor en 2016 (M. Mitchell, 2019, ch. 12). Vaswani y sus siete coautores propusieron conservar el esquema pero eliminar la recurrencia: todo el trabajo lo hace la atención (Vaswani et al., 2017, sec. 1). Lo probaron en traducción, del inglés al alemán y al francés, con los pares de oraciones del concurso WMT 2014 (2017, sec. 5.1; Mollick, 2026); la versión de arXiv suma un experimento de análisis sintáctico de constituyentes. En inglés–alemán superó por más de dos puntos BLEU a todo lo publicado, ensambles incluidos (2017, sec. 6.1).
Consultas, claves y valores
La idea central es la autoatención. Cada token entra como un embedding, y el modelo lo proyecta, con tres matrices aprendidas, en tres vectores (consultas, claves y valores) (Vaswani et al., 2017, sec. 3.2; Alammar y Grootendorst, 2024, pp. 91–94):
- la consulta dice qué información busca esta posición;
- la clave dice qué ofrece esta posición para que otras la encuentren;
- el valor es lo que efectivamente aporta si otra posición la elige.
El producto punto entre la consulta de una palabra y la clave de otra mide cuán pertinente es la segunda para la primera; un softmax convierte esos puntajes en pesos que suman 1, y la nueva representación de la palabra es el promedio de los valores ponderado por esos pesos: softmax(QKᵀ/√dₖ)V. Dividir por √dₖ evita que, con vectores de muchas dimensiones, los productos crezcan tanto que el softmax se sature (Vaswani et al., 2017, sec. 3.2.1). Buckner (2024) señala que la terminología viene de las bases de datos clave–valor, con una diferencia: no hay búsqueda explícita de un registro, sino operaciones de matrices que dejan que cada elemento modifique el «significado» de los demás (2024, p. 272).
Un ejemplo de Alammar y Grootendorst (2024): en The dog chased the squirrel because it…, para seguir hay que saber a qué refiere it, y la atención incorpora a su representación información de dog o de squirrel (2024, pp. 88–89). (En español la concordancia de género haría parte del trabajo; el it inglés no ayuda.) Y no lo hace una vez sino ocho: la atención multicabezal proyecta consultas, claves y valores ocho veces, cada una a un subespacio de 64 dimensiones (512 ÷ 8), y combina los resultados (Vaswani et al., 2017, sec. 3.2.2). Los autores observaron cabezas que parecían seguir la estructura sintáctica y semántica de la oración (2017, sec. 4).
Por qué importó el paralelismo
Una red recurrente lee de a una palabra: el estado en la posición t depende del estado en t − 1, y esa cadena impide paralelizar dentro de cada ejemplo (Vaswani et al., 2017, sec. 1). En la autoatención, las interacciones entre todas las posiciones se calculan juntas como multiplicaciones de matrices, justo lo que mejor hacen las GPU, chips nacidos para los videojuegos (Mollick, 2026). El modelo base se entrenó en 12 horas en una máquina con ocho GPU; el grande, en 3,5 días (Vaswani et al., 2017, sec. 5.2). El precio: el costo de cada capa crece con el cuadrado de la longitud de la secuencia (2017, sec. 4).
El resto de la pieza
La atención trata su entrada como un conjunto (Raffel et al., 2020, p. 5); por eso se suma a cada embedding una codificación posicional de senos y cosenos (Vaswani et al., 2017, sec. 3.5). Cada subcapa va envuelta en una conexión residual seguida de normalización de capa, y cada bloque incluye una red bloque feedforward aplicada a cada posición por separado (2017, secs. 3.1, 3.3). El codificador apila seis bloques; el decodificador, otros seis, con dos diferencias: su autoatención lleva una máscara causal (no puede mirar lo que todavía no generó), y agrega una atención cruzada cuyas consultas vienen del decodificador y cuyas claves y valores vienen del codificador, heredera directa de la atención de Bahdanau (2017, sec. 3.2.3; Alammar y Grootendorst, 2024, pp. 15–17).
Descendencia y límites
Como Eevee, evoluciona según la piedra que se le acerque: quedándose con el codificador salió BERT; con el decodificador, GPT-1 y la línea GPT; con ambos, T5 (Alammar y Grootendorst, 2024, pp. 18–21, 128). La conclusión del paper ya anunciaba imágenes, audio y video (Vaswani et al., 2017, sec. 7); de ahí vendría Vision Transformer (ViT). El original, sin embargo, era un especialista sin preentrenamiento, y sus mapas de atención dicen qué información está disponible, no cómo se usa (Buckner, 2024, p. 278; Millière y Buckner, 2024b, sec. 2.3).