En 2013, un año después del triunfo de AlexNet, Szegedy y colaboradores mostraron que cambios de píxeles invisibles para una persona bastaban para que esa red tomara un micro escolar por un avestruz, con confianza muy alta (M. Mitchell, 2019, ch. 6). Goodfellow et al. (2015) dieron el ejemplo canónico: una foto de un panda, clasificada como panda con 57,7 % de confianza, pasa a ser «gibón» con 99,3 % después de sumarle ruido calculado. La receta es sencilla: mover cada píxel un poquito en la dirección que más aumenta la pérdida, x′ = x + ε · signo(∇ₓ pérdida).
Su explicación fue sorprendente: el problema no es la no linealidad de las redes, sino su exceso de linealidad. En un espacio de alta dimensión, miles de cambios minúsculos se suman en un producto escalar hasta cruzar la frontera de decisión. Los ejemplos se transfieren entre arquitecturas, funcionan en el mundo físico (calcomanías que convierten una señal de «pare» en una de límite de velocidad) y existen también como «imágenes basura», ruido que la red clasifica con seguridad (Buckner, 2024, pp. 66–67). Los jailbreaks automáticos son su versión textual (Zou et al., 2023); la defensa clásica es el entrenamiento adversarial.
La interpretación está en disputa. Para unos, prueban que las redes no ven como nosotros: según una cita que recoge Buckner, construyen una «aldea Potemkin» que funciona con datos naturales y se derrumba fuera de ellos (2024, p. 67). Ilyas et al. (2019) propusieron lo contrario: no son errores sino rasgos, patrones reales y predictivos que nosotros no percibimos. Buckner (2024) añade que las personas adivinan por encima del azar la etiqueta «equivocada» que elige la red, y pide juego limpio: antes de penalizar a una red por su respuesta ante un estímulo artificial, hay que justificar cuál es la correcta (2024, p. 89). Si la red detecta algo real que nosotros no vemos, ¿quién se equivoca?