Cuando una red aprende una regla que funciona en las pruebas habituales pero falla en condiciones más exigentes, porque se apoya en correlaciones superficiales de los datos.
Geirhos et al. (2020) acuñaron el nombre para unificar muchos fracasos de las
redes profundas: un atajo es una regla de decisión que rinde bien en los
benchmarks estándar y no se transfiere a condiciones más exigentes, como las
del mundo real. La red de la que habla M. Mitchell (2019) parecía reconocer animales, pero había
aprendido que las fotos de animales suelen tener el fondo desenfocado
(2019, ch. 6); las redes entrenadas con ImageNet se guían más por la textura que por
la forma (Geirhos et al., 2019).
En lenguaje abundan. Un clasificador que ve solo la hipótesis, sin la premisa, acierta
alrededor del 67 % de SNLI, porque quienes escribieron los datos usaban negaciones sobre todo
para las contradicciones (Gururangan et al., 2018). BERT se apoyaba en
palabras como «not» en una tarea de argumentación (Niven y Kao, 2019) y en el solapamiento léxico en
inferencia: The doctor was paid by the actor no implica The
doctor paid the actor, aunque compartan casi todas las palabras (McCoy et al., 2019). Es el caballo
Hans el Listo, ahora con gradientes.
¿Por qué pasa? El descenso por gradiente toma el camino más barato hacia
una pérdida baja, y los conjuntos de prueba, extraídos de la misma distribución, tienen los
mismos atajos que el entrenamiento (ver supuesto i.i.d.). Chollet (2019) lo generaliza:
fijado un objetivo, cualquier proceso de optimización, sea el descenso por gradiente o la
investigación humana, tenderá a tomar todos los atajos disponibles
(2019, sec. II.1.1). Las redes, notan Millière y Buckner (2024b), se quedan con heurísticas
superficiales hasta que chocan con un cuello de botella (2024b, sec. 2.5.3).
Para la red, sin embargo, el atajo no es un error: es una regularidad genuina de los datos.
Es el problema de Goodman: «fondo desenfocado» y «animal» estaban igual de confirmados por la
evidencia. Llamarlo «espurio» presupone un concepto que teníamos en mente y no le dijimos a
nadie. ¿Qué haría falta para que un aprendiz, humano o artificial, elija la regularidad
correcta: más datos, otro sesgo inductivo, o conocer las causas?
Fuentes
- Chollet, F. (2019). On the measure of intelligence (arXiv:1911.01547). arXiv. https://doi.org/10.48550/arXiv.1911.01547 §
- Geirhos, R., Jacobsen, J.-H., Michaelis, C., Zemel, R., Brendel, W., Bethge, M., & Wichmann, F. A. (2020). Shortcut learning in deep neural networks. Nature Machine Intelligence, 2(11), 665–673. https://doi.org/10.1038/s42256-020-00257-z §
- Geirhos, R., Rubisch, P., Michaelis, C., Bethge, M., Wichmann, F. A., & Brendel, W. (2019). ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness. In 7th International Conference on Learning Representations (ICLR 2019). https://openreview.net/forum?id=Bygh9j09KX §
- Gururangan, S., Swayamdipta, S., Levy, O., Schwartz, R., Bowman, S. R., & Smith, N. A. (2018). Annotation artifacts in natural language inference data. In M. Walker, H. Ji, & A. Stent (Eds.), Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) (pp. 107–112). Association for Computational Linguistics. https://doi.org/10.18653/v1/N18-2017 §
- McCoy, R. T., Pavlick, E., & Linzen, T. (2019). Right for the wrong reasons: Diagnosing syntactic heuristics in natural language inference. In A. Korhonen, D. Traum, & L. Màrquez (Eds.), Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (pp. 3428–3448). Association for Computational Linguistics. https://doi.org/10.18653/v1/P19-1334 §
- Millière, R., & Buckner, C. (2024b). A philosophical introduction to language models—Part II: The way forward (arXiv:2405.03207). arXiv. https://doi.org/10.48550/arXiv.2405.03207 §
- Mitchell, M. (2019). Artificial intelligence: A guide for thinking humans. Pelican Books. §
- Niven, T., & Kao, H.-Y. (2019). Probing neural network comprehension of natural language arguments. In A. Korhonen, D. Traum, & L. Màrquez (Eds.), Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (pp. 4658–4664). Association for Computational Linguistics. https://doi.org/10.18653/v1/P19-1459 §
