En la autoatención, las consultas, las claves y los valores salen de la misma secuencia: cada token mira a todos los tokens del mismo texto (incluido él mismo) y se reescribe a partir de lo que encuentra (Vaswani et al., 2017, secs. 2 y 3.2.3). Si X es la matriz con un vector por token:
Q = X·W_Q, K = X·W_K, V = X·W_V, salida = softmax(Q·Kᵀ/√dₖ)·V
La fila i de softmax(Q·Kᵀ/√dₖ) dice cuánto «mira» el token i a cada uno de los demás (Vaswani et al., 2017, sec. 3.2.1). Ver consultas, claves y valores.
Ejemplo. En «Depositó el cheque en el banco» y en «Se sentó en un banco de la plaza», la palabra banco entra con el mismo vector; la autoatención lo desplaza hacia la zona financiera o hacia la del mobiliario según absorba información de cheque o de sentó y plaza. Buckner (2024) usa el caso análogo de bank en inglés, y subraya que la pista puede estar muchas palabras atrás (2024, pp. 270–271). Así se obtienen embeddings contextuales.
Por qué importa. En una red recurrente, la información entre dos palabras distantes atraviesa tantos pasos como palabras haya en el medio; en la autoatención, un solo paso conecta cualquier par. Eso facilita las dependencias largas y permite procesar todos los tokens en paralelo (Vaswani et al., 2017, sec. 4), justo lo que las GPU hacen bien. El precio: comparar cada token con cada otro cuesta O(n²), así que duplicar el texto cuadruplica el cómputo de atención. De ahí los límites de la ventana de contexto y las variantes «dispersas», como las capas alternadas de GPT-3 (Brown et al., 2020, sec. 2.1; Alammar y Grootendorst, 2024, p. 96).
Dos regímenes. En los codificadores como BERT es bidireccional; en los decodificadores como GPT-1 una máscara causal impide mirar hacia adelante (Alammar y Grootendorst, 2024, p. 97). En Vision Transformer (ViT) los «tokens» son parches de imagen.
Cautela. Vaswani y colegas sugirieron que la autoatención podría dar modelos más interpretables (2017, sec. 4). Pero un mapa de atención muestra qué información estaba disponible para un token, no cómo la usó el modelo (Buckner, 2024, p. 278).