Ajustarse a los datos de entrenamiento es fácil; lo que importa es acertar con casos nuevos. Chollet (2021) plantea el problema central del campo como la tensión entre optimización (rendir bien en los datos de entrenamiento) y generalización (rendir bien en datos nunca vistos), y advierte que solo la primera se controla directamente (2021, sec. 5.1). Por eso la generalización se estima empíricamente, sobre datos que el modelo no tocó (ver conjuntos de entrenamiento, validación y prueba); su fracaso típico es el sobreajuste.
La estimación descansa en un supuesto: que los datos futuros provienen de la misma distribución que los pasados (datos independientes e idénticamente distribuidos, i.i.d.). Witten et al. (2017) recuerdan que en la vida real las cosas derivan y los datos de entrenamiento son siempre retrospectivos (2017, p. 505). De ahí la distinción entre generalización dentro y fuera de la distribución (o.o.d.): muchos críticos sostienen que las redes profundas transfieren bien a lo primero y mal a lo segundo (Buckner, 2024, p. 70). Chollet (2021) lo formula como la diferencia entre generalización local, por interpolación entre ejemplos cercanos, y la generalización extrema de la que son capaces los humanos gracias a la abstracción y el razonamiento (2021, sec. 5.1.2); es la base de su propuesta para medir la inteligencia (Chollet, 2019).
El filósofo reconocerá el problema de la inducción. Hume (1748/2007) mostró que ninguna observación pasada justifica, sin circularidad, la expectativa de que el futuro se parezca al pasado. El aprendizaje automático no refuta a Hume: lo administra. Asume la uniformidad (el supuesto i.i.d.), la pone a prueba a medias con un conjunto reservado, y confía en un sesgo inductivo para elegir entre las infinitas generalizaciones compatibles con los datos. Cuando la naturaleza cambia de curso (un modelo de crédito entrenado con sucursales de Nueva York y Florida que se aplica a una nueva sucursal en Nebraska, en el ejemplo de Witten y colegas (2017, p. 163)), el supuesto falla, y el modelo con él.