Hans fue un caballo que, a comienzos del siglo XX, parecía resolver sumas, multiplicaciones y divisiones golpeando el suelo con el casco. Su historia dejó la lección más citada de la evaluación de IA: un sistema puede dar la respuesta correcta por razones equivocadas.
La historia
Su dueño, Wilhelm von Osten, un exprofesor de matemática de un Gymnasium, lo exhibía en Berlín ante multitudes. En septiembre de 1904 una comisión de la que formaba parte el psicólogo Carl Stumpf no encontró trucos ni señales intencionales: el caballo respondía incluso en ausencia de su dueño. Oskar Pfungst, del Instituto Psicológico de Berlín, diseñó entonces el control decisivo. Comparó el «procedimiento con conocimiento» (quien pregunta sabe la respuesta) con el «procedimiento sin conocimiento» (nadie la sabe). Con números escritos en tarjetas que ninguno de los presentes podía ver, Hans acertó el 8 % de las veces; cuando el interrogador los conocía, el 98 % (Pfungst, 1907/1911).
La explicación, en palabras de Stumpf, estaba en los «unintentional minimal movements of the horse's questioner» [los movimientos mínimos involuntarios de quien interrogaba al caballo; trad. propia] (Pfungst, 1907/1911). Quien preguntaba se inclinaba levemente hacia adelante cuando Hans empezaba a golpear y, al llegar al número correcto, hacía un pequeño movimiento involuntario de la cabeza hacia arriba: la señal para detenerse. Pfungst lo confirmó en el laboratorio haciendo él mismo de caballo con veinticinco personas; todas menos dos produjeron los mismos movimientos sin darse cuenta.
El efecto Hans en la IA
M. Mitchell (2019) cuenta cómo la analogía se volvió corriente en el aprendizaje profundo, con ejemplos como el de una red que parecía reconocer animales y en realidad había aprendido que las fotos de animales suelen tener el fondo desenfocado (2019, ch. 6). El caso más literal lo documentaron Lapuschkin et al. (2019): un clasificador entrenado con el conjunto PASCAL VOC reconocía «caballos» en buena medida por una marca de origen que aparecía en cerca de un quinto de esas fotos; si se le pegaba la marca a la imagen de un auto, pasaba a ser un caballo. Al fenómeno general se lo conoce como aprendizaje por atajos, un nombre que popularizaron Geirhos et al. (2020).
En lenguaje, el caso canónico es BERT. Niven y Kao (2019) mostraron que su gran desempeño en una tarea de comprensión de argumentos caía al azar al neutralizar ciertas pistas léxicas, y McCoy et al. (2019) que en inferencia en lenguaje natural se apoyaba en heurísticas sintácticas como «si todas las palabras de la hipótesis están en la premisa, hay implicación» (Bender y Koller, 2020, p. 5186). Su conjunto de prueba, HANS, incluye pares como «The doctor was paid by the actor» / «The doctor paid the actor», donde esa heurística falla (2019, p. 3429); el acrónimo, aunque el artículo no lo diga, difícilmente sea casual. Un texto de 2019 que Bender y Koller citan se titula, directamente, «NLP's Clever Hans moment has arrived» (Bender y Koller, 2020, p. 5192).
La lección
El control de Pfungst sigue siendo la plantilla: sacar del medio la pista sospechosa y ver si la competencia sobrevive. Sus equivalentes actuales son los conjuntos adversariales, las pruebas fuera de distribución (ver generalización), los análisis de interpretabilidad y la vigilancia de la contaminación de datos. Chollet (2019) da la versión general: una vez fijado un objetivo, el desarrollo de una solución tenderá a tomar todos los atajos disponibles, «whether this process is gradient descent or human-driven research» [sea ese proceso el descenso por gradiente o la investigación humana; trad. propia] (2019, sec. II.1.1). Pero la historia tiene una segunda moraleja, menos citada: Hans no era tonto. Era un lector extraordinario de la conducta humana. Tenía una habilidad real, solo que no la que le atribuían.