Imaginemos la pérdida como un paisaje cuya altura depende de los valores de los parámetros. El gradiente es el vector de derivadas que indica hacia dónde el terreno sube más empinado; el descenso por gradiente da un paso en la dirección contraria y repite. Cada paso resta a cada parámetro su derivada multiplicada por una constante pequeña, la tasa de aprendizaje (learning rate).
Witten et al. (2017) dan un ejemplo de juguete: si la pérdida fuera w² + 1, su derivada es 2w; con w = 4 y tasa 0,1, el primer paso lleva a 4 − 0,1 × 8 = 3,2, luego a 2,56, a 2,048, y así hacia el mínimo en 0 (2017, pp. 265–266). Una tasa demasiado alta hace oscilar o saltar por encima del mínimo; una demasiado baja vuelve el avance lentísimo. Y el método solo garantiza llegar a un mínimo local.
En la práctica no se calcula el gradiente sobre todos los datos a la vez sino sobre un lote pequeño elegido al azar: es el descenso por gradiente estocástico (SGD) por minilotes, un compromiso entre precisión y costo (Chollet, 2021, sec. 2.4.3). Variantes como el momento (una bola que rueda y acumula velocidad para no quedar atrapada en un pozo), Adagrad o RMSProp ajustan cada paso según la historia de las actualizaciones. Quien calcula el gradiente en una red profunda es la retropropagación; el descenso por gradiente es quien lo usa.
Chollet (2021) agrega una advertencia: nuestras intuiciones vienen de dibujos en una o dos dimensiones, pero una red real desciende en un espacio de millones de dimensiones, donde esas imágenes pueden engañar (2021, sec. 2.4.3) (ver espacio de alta dimensión). Desde el punto de vista epistemológico, el método no deduce la solución: la encuentra por corrección local reiterada, sin saber nunca si el valle en que terminó es el más profundo.