El primer criterio fue conductual: el juego de la imitación de Turing (1950) reemplazó la pregunta de si las máquinas pueden pensar por una prueba de conversación. Block (1981) mostró su límite con el Blockhead, una tabla gigantesca que pasaría la prueba sin pensar: la misma conducta puede tener orígenes que nos harían retirar la atribución.
La IA posterior optó por otro criterio, la habilidad en tareas difíciles, medida con benchmarks. Chollet (2019) objeta que así se confunde el producto con el proceso. Un humano que juega al ajedrez como un maestro es inteligente porque tuvo que adquirir esa habilidad con su capacidad general de aprender; un programa como Deep Blue no llegó así. Por eso no hay tarea X cuyo dominio demuestre inteligencia, salvo que X sea la metatarea de adquirir habilidades (2019, sec. I.3.1): con suficientes conocimientos previos (priors) o suficiente experiencia se puede «comprar» habilidad sin generalización.
Su definición: la inteligencia de un sistema es su eficiencia para adquirir habilidades en un conjunto de tareas, relativa a sus priors, su experiencia y la dificultad de generalización; la habilidad es apenas el resultado de ese proceso (2019, sec. II.2.1). Distingue generalización local (robustez), amplia (flexibilidad) y extrema (2019, sec. I.3.2). Para medirla propuso ARC: 400 tareas de entrenamiento y 600 de evaluación (400 públicas y 200 privadas), cuadrículas al estilo de las matrices de Raven con unos tres ejemplos por tarea y priors declarados, cercanos al conocimiento innato humano (2019, sec. III.1.1). Es el mismo contraste que su manual traza entre la interpolación de las redes y la generalización extrema de las personas (Chollet, 2021, sec. 5.1.2).
La psicometría separa, desde Cattell, la inteligencia fluida (resolver problemas nuevos) de la cristalizada (el conocimiento acumulado) (Cattell, 1963). Se puede saber muchísimo y razonar poco; la figura extrema es Funes, el personaje de Borges que lo recordaba todo y por eso apenas podía pensar, porque «pensar es olvidar diferencias, es generalizar, abstraer» (Borges, 1942/1944). Con los LLM la pregunta es la misma: ¿cuánto de lo que hacen es inteligencia cristalizada, un licuado de todo lo escrito, y cuánto es fluida? Es otra manera de plantear la distinción de Chollet.
La propuesta no es neutral: toma la escala humana como referencia y hereda las disputas de la psicometría. Buckner (2024) prefiere evaluar el progreso de la IA por una racionalidad ecológica, justamente por esas controversias (2024, pp. 77, 81). Pero hay acuerdo en algo: un criterio puramente conductual, que ignore la eficiencia del aprendizaje y las representaciones internas, no distingue dos sistemas que hacen lo mismo por vías distintas (Millière y Buckner, 2024b, sec. 4.1). Y todo test enfrenta a Hans el Listo: el éxito puede venir de pistas no previstas o de contaminación de datos.