En lugar de una sola atención sobre vectores completos, el transformer ejecuta h atenciones en paralelo («cabezas»), cada una con sus propias matrices de consulta, clave y valor que proyectan a un subespacio más chico; luego concatena los resultados y los proyecta de nuevo (Vaswani et al., 2017, sec. 3.2.2):
MultiHead(Q,K,V) = Concat(head₁, …, headₕ)·W_O, headᵢ = Attention(Q·Wᵢ_Q, K·Wᵢ_K, V·Wᵢ_V)
El transformer original usaba 8 cabezas de 64 dimensiones; BERT-base, 12; GPT-3, 96 cabezas en cada una de sus 96 capas, es decir 9.216 (Vaswani et al., 2017, sec. 3.2.2; Devlin et al., 2019, p. 4173; Brown et al., 2020, sec. 2.1).
Por qué. Una sola softmax produce un único promedio ponderado: si un token necesita a la vez a su sujeto y a su antecedente, el promedio los emborrona. Varias cabezas permiten atender a la vez a información de distintos subespacios de representación y en distintas posiciones (Vaswani et al., 2017, sec. 3.2.2). Con una sola cabeza, la traducción empeoraba 0,9 BLEU; con demasiadas, también (Vaswani et al., 2017, sec. 6.2).
Qué podría rastrear cada cabeza. Tomemos «El perro persiguió al gato porque tenía
hambre». Una cabeza podría llevar de tenía a perro (¿de quién es el hambre?); otra, de
cada palabra a la anterior; otra, de persiguió a su sujeto y a su objeto; otra podría
«estacionarse» en un signo de puntuación cuando no hay nada útil que mirar. Algo así se
encontró en BERT: K. Clark et al. (2019) hallaron cabezas que siguen objetos
directos, determinantes y correferencias, y otras que miran casi siempre a los
delimitadores; Buckner (2024) muestra una cabeza que parece resolver la anáfora en «she gave
her a mint because her breath was bad» (2024, pp. 278–279). Otras cabezas copian
patrones del contexto, [a][b] … [a] → [b]: son las llamadas induction heads
(Elhage et al., 2021; Buckner, 2024, pp. 281–282).
Advertencia. Nadie asigna esos roles: son hipótesis del analista. Las visualizaciones suelen ser ejemplos elegidos, hay cabezas que no se dejan interpretar, y muchas pueden podarse sin gran pérdida (Voita et al. (2019) quitaron 38 de 48 cabezas del codificador perdiendo 0,15 BLEU). Además, los pesos muestran de dónde vino la información, no qué hizo el modelo con ella (Buckner, 2024, p. 278).
Variantes eficientes (atención multiconsulta y por grupos) comparten claves y valores entre cabezas para aliviar la caché KV (Alammar y Grootendorst, 2024, pp. 98–100).