Searle (1980) introdujo los términos para separar dos pretensiones. Según la IA «débil» o «cauta», la computadora es, para estudiar la mente, una herramienta muy potente, que permite formular y poner a prueba hipótesis con rigor. Según la IA «fuerte», la computadora adecuadamente programada es una mente: puede decirse literalmente que entiende y tiene otros estados cognitivos, y sus programas no ponen a prueba explicaciones psicológicas, son las explicaciones (1980, p. 417). Contra la débil, Searle no tenía objeciones; la habitación china apunta a la fuerte.
Sus propias respuestas: ¿puede pensar una máquina? Sí, nosotros somos esas máquinas. ¿Una computadora digital? En un sentido trivial, también. Lo que niega es que algo piense solo en virtud de ejecutar el programa correcto, porque la manipulación formal de símbolos no tiene intencionalidad (1980, p. 422). Nadie cree que la simulación de un incendio queme el barrio: ¿por qué la simulación de la comprensión habría de comprender? Y acusa a la IA fuerte de un dualismo residual: si solo importa el programa, daría lo mismo ejecutarlo en una máquina o en un espíritu hegeliano (1980, p. 423) (ver realizabilidad múltiple).
Con el tiempo el sentido se corrió. Hoy «IA fuerte» suele significar una IA capaz de hacer casi todo lo que hace un humano, cercana a la IAG, y «débil», la IA estrecha que ya existe; M. Mitchell (2019) advierte que ese uso, que atribuye a Kurzweil, no es el de Searle (2019, ch. 3). Conviene no confundir los ejes: la generalidad (qué puede hacer un sistema) y la mentalidad (si tiene mente). Para Searle, ni siquiera un sistema general tendría mente por el solo hecho de ejecutar un programa.
El argumento apuntaba a programas escritos a mano, al estilo de la GOFAI; en 1990 Searle lo extendió a las redes con su «gimnasio chino» (Searle, 1990). Los modelos actuales no siguen reglas escritas por nadie, sino pesos aprendidos. ¿Cambia eso algo, si al fin y al cabo se ejecutan como programas?