Chollet (2021) llama regularización a las técnicas que dificultan que un modelo se ajuste a la perfección a sus datos de entrenamiento, para que rinda mejor en validación: el modelo se vuelve más «regular», su curva más suave (2021, sec. 5.4.4). Es el remedio estándar contra el sobreajuste.
Penalizar los pesos. La forma clásica agrega un término a la función de pérdida: pérdida = error + λ·R(w). Con R = Σwᵢ² (norma L2) se obtiene la regresión ridge (Hoerl y Kennard, 1970), que en redes neuronales se llama weight decay (Witten et al., 2017, pp. 269, 399); con R = Σ|wᵢ| (norma L1), el lasso (Tibshirani, 1996). El gradiente de w² es 2w, que se achica junto con el peso: L2 encoge todo, pero casi nada llega a cero. El de |w| es constante: L1 empuja los pesos chicos hasta anularlos y así selecciona variables.
Lectura bayesiana. Minimizar error + λ‖w‖² equivale a buscar los pesos más probables bajo un prior gaussiano centrado en cero; un prior de Laplace, con más masa en el cero, da la penalización L1 (Witten et al., 2017, pp. 393–394). λ mide cuánto pesa el prior. La preferencia por lo simple deja de ser una máxima metodológica: es una hipótesis probabilística explícita (ver sesgo inductivo).
Otras formas. Detener el entrenamiento cuando empeora el error de validación (early stopping) (Witten et al., 2017, p. 269); el dropout; la aumentación de datos, que suma copias trasladadas, rotadas o recortadas de cada imagen (Witten et al., 2017, p. 437). Los grandes modelos de lenguaje suelen usar poca: GPT-3 entrenó con un weight decay de 0,1, «una pequeña cantidad de regularización» (Brown et al., 2020, app. B) [trad. propia].
Un enigma. Zhang y colegas (2017) mostraron que una red convolucional memoriza etiquetas asignadas al azar con o sin regularización explícita. La generalización de las redes profundas parece venir de otra parte: la arquitectura, los datos o alguna regularización implícita, quizá del propio descenso por gradiente. Buckner menciona esa línea (Soatto y Chiuso, 2014), pero la deja de lado por preliminar (2024, p. 119, n. 7).