Un modelo sobreajustado memoriza en vez de generalizar. Witten et al. (2017) dan el caso extremo: si una regla clasifica según el número de identificación de cada ejemplo, tiene error cero en los datos de entrenamiento y no acierta ni un caso fuera de ellos (2017, p. 95). El patrón típico es que, a medida que avanza el entrenamiento, el error sobre esos datos sigue bajando mientras que el error sobre datos reservados primero baja y después sube: al principio el modelo está subajustado (todavía no captó los patrones relevantes); luego sobreajusta (Chollet, 2021, sec. 5.1.1). Un ejemplo de Chollet: si la palabra «chirimoya» aparece en una sola reseña, y esa reseña es negativa, un modelo mal regularizado puede aprender que la chirimoya es mala señal.
Las redes profundas agravan el riesgo, porque tienen capacidad para memorizar incluso etiquetas asignadas al azar (Chollet, 2021, sec. 5.1.2); Zhang y colegas lo mostraron en 2017 con millones de imágenes (Buckner, 2024, pp. 137–138). Los remedios se llaman regularización: achicar el modelo, penalizar los pesos grandes (L2 o weight decay), aplicar dropout o detener el entrenamiento a tiempo (early stopping) (Witten et al., 2017, p. 269; Chollet, 2021, sec. 5.4.4).
Para el filósofo de la ciencia es el viejo problema del ajuste de curvas: por n puntos siempre pasa exactamente un polinomio de grado n − 1, y casi nunca es la mejor predicción. La preferencia por lo simple tiene aquí una versión operativa, el principio de longitud mínima de descripción (MDL): la mejor teoría minimiza su propio tamaño más el de sus excepciones, la «carretada de estiércol» más pequeña, según la metáfora de Kepler que recogen Witten et al. (2017, pp. 197–198). Forster y Sober (1994) analizaron por qué la simplicidad puede mejorar la precisión predictiva. Pero la práctica actual complica el manual: los modelos profundos están enormemente sobreparametrizados y aun así generalizan (Chollet, 2021, sec. 5.4.3), y el grokking muestra redes que generalizan mucho después de haber memorizado.