Una red recurrente aplica las mismas matrices en cada paso de una secuencia. Si se la «desenrolla», una copia por paso, queda una red bloque feedforward muy profunda cuyas capas comparten pesos (Witten et al., 2017, p. 457). La retropropagación común se aplica entonces a esa red desplegada: el error de cada paso viaja hacia atrás por todos los pasos anteriores, y como los pesos son los mismos, sus gradientes se suman. Rumelhart et al. (1986) ya describieron esta equivalencia, con dos condiciones: guardar la historia completa de los estados y mantener iguales los pesos correspondientes promediando sus derivadas (1986, p. 535) (ver pesos compartidos). Werbos (1990) escribió su exposición clásica.
Costos. La memoria crece con el largo de la secuencia, porque hay que conservar cada estado oculto. Por eso se usa la versión truncada: el error retrocede solo k pasos (Williams y Peng, 1990). La red de Elman era el caso extremo: la copia hacia las unidades de contexto era fija y el error no retrocedía en el tiempo. La alternativa hacia adelante, el aprendizaje recurrente en tiempo real de Williams y Zipser (1989), evita guardar la historia pero cuesta mucho más cálculo.
Inestabilidad. Al retroceder, el error se multiplica una y otra vez por la misma matriz; a lo largo de muchos pasos tiende a cero o a infinito (Witten et al., 2017, p. 457). Es el gradiente que se desvanece (o explota). Contra la explosión se recorta la norma del gradiente (2017, p. 458); contra el desvanecimiento hizo falta LSTM (Hochreiter y Schmidhuber, 1997).
El Transformer esquiva todo esto: con la máscara causal entrena todas las posiciones en paralelo y cualquier par de tokens queda a un paso de distancia (Vaswani et al., 2017, sec. 4). Visto desde la asignación de crédito, la BPTT resuelve la versión temporal del problema: qué entrada pasada es responsable del error presente. Como modelo biológico es aún menos plausible que la retropropagación, ya discutida (Buckner, 2024, p. 132): exige recordar la historia entera y recorrerla al revés.