Gracias a las conexiones residuales, el vector de cada token no se reemplaza en cada capa: se le suman cosas. En un transformer con pre-normalización, cada bloque hace
x ← x + Atención(LN(x)); x ← x + FFN(LN(x))
de modo que el vector final es la suma del embedding inicial más todos los aportes de todas las subcapas. A ese vector que corre a lo largo de la pila, uno por posición, la interpretabilidad mecanicista lo llama «flujo residual». Alammar y Grootendorst (2024) lo presentan de modo más simple: cada token recorre su propio carril de cómputo, de igual ancho a la entrada y a la salida, y los carriles solo se comunican en la atención (2024, pp. 81–82).
Por qué es útil pensarlo así. Elhage et al. (2021) proponen que todos los componentes del modelo (embeddings, cabezas de atención, capas feedforward, la capa de salida) se comunican leyendo y escribiendo en distintos subespacios del flujo residual, y que cada cabeza de atención funciona como una operación independiente cuyo resultado se suma al flujo. Eso permite descomponer el modelo en caminos que se pueden estudiar por separado (ver circuitos), y explica por qué tiene sentido leer representaciones intermedias con sondeo o intervenir sumándoles un vector, como en el direccionamiento.
Dónde está. En cualquier transformer con conexiones residuales: de GPT-2 y GPT-3 a LLaMA. No es una pieza adicional que se pueda señalar en el diagrama, sino una forma de describir la que ya está.
Cautela. La imagen de una «pizarra compartida» o un «bus» es atractiva, y evoca teorías del espacio de trabajo global en psicología. Pero el flujo es solo una suma de vectores: sus direcciones no vienen rotuladas, muchos rasgos comparten las mismas dimensiones (superposición) y nada garantiza que lo que el analista lee sea lo que la red «usa». Es una herramienta de descripción, no un órgano.