La atención estándar compara la consulta de cada token con las claves de todos los anteriores y normaliza con softmax: el costo crece con el cuadrado del largo y, al generar, cada clave y cada valor quedan guardados en la caché KV. La atención lineal cambia la similitud exp(q·k) por un producto de rasgos φ(q)·φ(k), es decir, por un núcleo. Como el producto de matrices es asociativo, Σⱼ vⱼ·(φ(kⱼ)ᵀφ(q)) se puede reagrupar como (Σⱼ vⱼ·φ(kⱼ)ᵀ)·φ(q), y la suma entre paréntesis ya no depende de la consulta (Katharopoulos et al., 2020, sec. 3.2). Con la máscara causal, eso es una recurrencia:
Sₜ = Sₜ₋₁ + vₜ·φ(kₜ)ᵀ, oₜ = Sₜ·φ(qₜ)
De ahí el título del artículo, «Transformers are RNNs»: toda capa de atención causal puede escribirse como una red que modifica un estado interno y emite una salida (2020, sec. 3.4). La memoria deja de crecer con el contexto, y los autores informan generación hasta 4000 veces más rápida en secuencias muy largas (2020).
Una memoria superpuesta. Schlag et al. (2021) mostraron que la fórmula equivale a los «programadores de pesos rápidos» de los años noventa: una red lenta, entrenada por gradiente, escribe en cada paso asociaciones clave–valor en una matriz que hace de pesos de otra red. De ahí dedujeron su techo: en d dimensiones no caben más de d claves ortogonales, y más allá de d asociaciones lo que se recupera es una mezcla (2021, sec. 4.1). Los remedios son olvidar (un decaimiento αₜ que multiplica Sₜ₋₁: así se lee Mamba-2, como «atención lineal con decaimiento» (S. Yang et al., 2025, sec. 2.1)) o corregir antes de escribir, con la regla delta; Gated DeltaNet hace las dos cosas.
El precio. Ningún estado fijo puede copiar textos arbitrariamente largos: Jelassi et al. (2024) lo prueban para toda la clase de modelos con memoria fija, que incluye la atención lineal y los modelos de espacio de estados. Por eso los híbridos intercalan unas pocas capas de atención completa entre muchas de atención lineal o de Mamba. La oposición de fondo no sería recurrencia contra atención, sino archivo literal contra resumen comprimido.