Chollet (2021) aclara de entrada que lo «profundo» no alude a ninguna comprensión profunda, sino a la cantidad de capas sucesivas de representación; otros nombres posibles habrían sido aprendizaje de representaciones en capas o jerárquicas (2021, sec. 1.1.4). Buckner (2024) precisa el orden de magnitud: las redes de las oleadas anteriores tenían en general menos de cuatro capas; las profundas tienen por lo menos cinco, y a veces cientos o miles (2024, p. 50). Y agrega que «profundo» tiene un doble sentido: el número de capas y la riqueza de los patrones jerárquicos que esas capas llegan a adquirir (2024, p. 51).
Lo que cambió no fue solo la escala. Antes, un humano diseñaba los atributos y el algoritmo aprendía una o dos transformaciones sobre ellos (aprendizaje superficial); el aprendizaje profundo aprende todas las capas a la vez, guiadas por una sola señal de error, y así automatiza la ingeniería de atributos (Chollet, 2021, sec. 1.2.6). Witten et al. (2017) lo ubican como una forma de aprendizaje de representaciones con muchos pasos de transformación (2017, p. 418).
El punto de inflexión suele fecharse en 2012, cuando AlexNet ganó el concurso ImageNet con una red convolucional entrenada en GPU de videojuegos: la exactitud top-5 del ganador saltó del 74,3 % del año anterior al 83,6 % (Chollet, 2021, sec. 1.2.5; Krizhevsky et al., 2012). Desde entonces el término cubre casi todo: visión, habla, traducción, transformers y modelos de lenguaje.
Filosóficamente, Buckner (2024) lee ese éxito como la evidencia empírica más fuerte a favor de un empirismo moderado: facultades generales de dominio, con sesgos amplios, bastarían para extraer conocimiento abstracto de la experiencia sin ideas innatas específicas (2024, p. 129) (ver empirismo vs innatismo). Los críticos responden que esas redes generalizan mal fuera de la distribución de entrenamiento (Buckner, 2024, p. 70); la discusión sigue abierta.