Una red recurrente tiene conexiones que forman ciclos, y por eso un estado interno (Witten et al., 2017, p. 456). En cada paso t combina la entrada actual xₜ con su estado oculto anterior:
hₜ = act(W·xₜ + U·hₜ₋₁ + b)
con las mismas matrices W y U en todos los pasos (Witten et al., 2017, p. 457). «Desenrollada» en el tiempo, es una red muy profunda con pesos compartidos entre capas. Mientras las redes feedforward calculan rasgos cada vez más abstractos capa tras capa, en las recurrentes el procesamiento se parece más a los pasos de un algoritmo (Witten et al., 2017, p. 457).
Ventajas. Procesa secuencias de cualquier largo con memoria fija, y el orden viene incorporado: no necesita codificación posicional. Es un sesgo inductivo natural para series temporales y lenguaje: Chollet (2021) muestra un problema de temperaturas en el que una red densa no supera una línea de base trivial y una recurrente sí (2021, secs. 5.3.2 y 10.2).
Especies. Red recurrente simple (Elman) (Elman, 1990) mostró que una red recurrente entrenada a predecir la palabra siguiente descubría por sí sola categorías como sustantivo y verbo (Elman, 1990). LSTM agregó compuertas; Seq2seq y Atención de Bahdanau la usaron para traducir; ELMo, para producir embeddings contextuales.
Por qué el transformer la abandonó. Su naturaleza secuencial impide paralelizar el cómputo dentro de cada ejemplo, y entre dos palabras distantes la señal debe atravesar tantos pasos como palabras las separen (Vaswani et al., 2017, secs. 1 y 4). A eso se suma el gradiente que se desvanece.
El regreso. Los modelos de espacio de estados como Mamba recuperan la recurrencia con un truco: una actualización que puede entrenarse en paralelo. Y, en otro sentido, todo modelo generativo es recurrente en su bucle externo: cada token producido vuelve a entrar como entrada (Alammar y Grootendorst, 2024, pp. 75–76).