La retropropagación calcula cuánto contribuyó cada peso al error multiplicando derivadas capa por capa, desde la salida hacia atrás. Si esos factores suelen ser menores que 1, el producto se achica exponencialmente: 0,5 multiplicado treinta veces da menos de una milmillonésima. Las primeras capas reciben una señal casi nula y apenas aprenden. Si los factores son mayores que 1, el gradiente «explota».
En las redes recurrentes el problema es peor, porque se usa la misma matriz en cada paso temporal: a lo largo de muchos pasos, el gradiente tiende a cero o a infinito, igual que cualquier número distinto de 1 elevado a una potencia grande (Witten et al., 2017, p. 457). Por eso una red como Red recurrente simple (Elman) aprendía mal las dependencias largas (el sujeto al principio de una oración, el verbo muchas palabras después). Contra la explosión alcanza con recortar el gradiente; contra el desvanecimiento hizo falta cambiar la arquitectura: la LSTM fue diseñada específicamente para eso, con celdas de memoria protegidas por compuertas (Witten et al., 2017, pp. 457–458; Hochreiter y Schmidhuber, 1997).
En las redes profundas en general, Chollet (2021) señala que hasta fines de la década de 2000 la señal de entrenamiento se desvanecía al aumentar el número de capas, y que por eso las redes seguían siendo poco profundas. Lo resolvieron mejores funciones de activación (como ReLU), mejores inicializaciones y optimizadores, y más tarde la normalización por lotes y las conexiones residuales (2021, sec. 1.3.3).
En los transformers reaparece en miniatura: los productos punto de la atención crecen con la dimensión y empujan la softmax a zonas de gradiente casi nulo; por eso se divide por √dₖ (Vaswani et al., 2017, sec. 3.2.1). Y la autoatención acorta los caminos entre posiciones distantes, que era parte del problema original (Vaswani et al., 2017, sec. 4).
Un ángulo histórico. Los «inviernos» de las redes neuronales suelen contarse como episodios sociológicos; Witten et al. (2017) recuerda que a comienzos de los 2000 tener «neural networks» en el título de un artículo se correlacionaba con su rechazo en NIPS (2017, p. 461). Pero hubo también razones técnicas, y esta fue una de las centrales.