El descenso por gradiente necesita la derivada de la pérdida respecto de cada peso. En una red de una sola capa eso es fácil; con capas ocultas surge un problema: sabemos qué debía producir la salida, pero no qué debían producir las unidades intermedias (Witten et al., 2017, p. 264). La retropropagación lo resuelve con la regla de la cadena: como la red es una composición de operaciones simples con derivadas conocidas, el error se calcula en la salida y se «propaga» capa por capa hacia la entrada (Chollet, 2021, sec. 2.4.4). M. Mitchell (2019) lo describe como repartir la culpa del error entre todos los pesos de la red (2019, ch. 2). Hoy las bibliotecas lo hacen solas, sobre grafos de cómputo (diferenciación automática).
Minsky y Papert dudaban de que existiera un método eficaz para entrenar redes multicapa, y su escepticismo contribuyó a la caída de la financiación en los años setenta (M. Mitchell, 2019, ch. 2). El algoritmo fue descubierto varias veces, quizá primero por Werbos en 1974 (Buckner, 2024, p. 120), y se popularizó con Rumelhart et al. (1986), que mostraron que las capas ocultas aprendían representaciones útiles. Sin él no habría Perceptrón multicapa (retropropagación) ni aprendizaje profundo. En redes muy profundas o recurrentes, el producto de muchas derivadas pequeñas puede anular la señal: es el gradiente que se desvanece.
Dos aclaraciones. Retropropagación y descenso por gradiente no son sinónimos: una calcula el gradiente, el otro lo usa para actualizar, aunque los textos introductorios a menudo los funden (Chollet (2021) atribuye la retropropagación al optimizador (2021, sec. 1.1.5)). Y no es un modelo de cómo aprende el cerebro: las neuronas no parecen poder enviar señales de error hacia atrás a través de la sinapsis, y la plausibilidad biológica del algoritmo sigue en discusión (Buckner, 2024, p. 132). Su interés filosófico está en otra parte: es una solución técnica al viejo problema de la asignación de crédito, el de repartir el mérito o la culpa de un resultado entre muchas causas intermedias.