La atención es una forma de consultar el contexto: para representar un elemento, la red calcula cuán pertinente es cada uno de los demás y promedia sus contenidos con esos pesos, que cambian con cada oración.
Origen
Nació en la traducción automática. Las redes
codificador–decodificador de 2014 comprimían toda la oración de origen en
un único vector y rendían cada vez peor con oraciones largas. Bahdanau et al. (2015) propusieron que,
al escribir cada palabra de la traducción, el decodificador consultara todos los estados del
codificador: puntúa cada palabra de origen, normaliza con softmax y arma un contexto a
medida, cᵢ = Σⱼ αᵢⱼ·hⱼ. Los autores lo llaman explícitamente un mecanismo de atención
(2015, sec. 3.1). Un ejemplo suyo: para traducir
the man por l'homme, el modelo mira a la vez the y man, porque el artículo francés
depende del sustantivo que sigue
(2015, sec. 5.2.1) (Atención de Bahdanau).
Cómo funciona hoy
En el Transformer la idea se generaliza con consultas, claves y valores y se aplica dentro de una misma secuencia (autoatención). En «El perro persiguió al gato porque tenía hambre», para representar bien tenía hay que incorporar información de perro (o de gato). La atención lo hace en dos pasos: puntúa la relevancia de cada token y combina sus contenidos (Alammar y Grootendorst, 2024, pp. 88–90). Se puede experimentar en el laboratorio de atención.
¿Se parece a la atención humana?
En parte. Casi todas las teorías psicológicas tratan la atención como selectividad: filtro ante un cuello de botella (Broadbent), pegamento que liga los rasgos de un objeto (Treisman), selección al servicio de la acción o resultado de una competencia entre procesos (Buckner, 2024, pp. 243–247). La atención artificial comparte la idea de repesar la información, y la softmax obliga a los candidatos a repartirse un «presupuesto» que suma 1. Pero no hay capacidad limitada (nada queda sin procesar), ni control voluntario, ni vínculo con la conciencia. En el capítulo que dedica a la atención, Buckner (2024) considera dudoso su parecido con la atención biológica y recoge la propuesta de Grace Lindsay: su análogo psicológico más cercano sería el priming (2024, pp. 273–275). El nombre es una metáfora fértil, no una tesis sobre la mente.