«Feedforward» (hacia adelante) designa cualquier red en la que la información fluye en un solo sentido, sin bucles: el perceptrón multicapa de 1986 es el ejemplo clásico. En un bloque transformer, el término nombra la segunda subcapa: dos transformaciones lineales con una función de activación en el medio, aplicadas a cada posición por separado y del mismo modo (Vaswani et al., 2017, sec. 3.3):
FFN(x) = max(0, x·W₁ + b₁)·W₂ + b₂
El vector se expande (de 512 a 2048 dimensiones en el original) y vuelve a comprimirse. En GPT-3 la capa intermedia es siempre cuatro veces más ancha que el modelo (Brown et al., 2020, sec. 2.1); los modelos recientes cambian la ReLU por SwiGLU (Alammar y Grootendorst, 2024, p. 101; Touvron, Lavril et al., 2023, sec. 2.2).
División del trabajo. La atención mezcla información entre tokens; la red feedforward no mira a los vecinos, transforma lo que cada token ya tiene. Con las proporciones habituales, sus dos matrices suman unas dos terceras partes de los parámetros de cada bloque (cálculo propio: 8d² frente a 4d² de la atención). Alammar y Grootendorst (2024) la describen como la sede de buena parte de la capacidad de procesamiento y, probablemente, de la memorización: que «The Shawshank» siga con «Redemption» dependería de información almacenada allí (2024, pp. 86–87). Geva et al. (2021) propusieron leer estas capas como memorias clave–valor: la primera matriz detecta patrones del texto y la segunda empuja hacia ciertas palabras de salida.
Variantes. En la mezcla de expertos, este bloque se reemplaza por muchos bloques paralelos y un enrutador que elige unos pocos por token (Mezcla de expertos (Mixtral)).
Un matiz. Que los «hechos» residan en estas capas es una hipótesis útil, no un mapa: la misma maquinaria que memoriza también interpola entre ejemplos y generaliza (Alammar y Grootendorst, 2024, p. 87), y la información suele estar distribuida entre muchas capas y superpuesta en las mismas neuronas.