ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Debates filosóficos

MT196

Efecto ELIZA

En inglés: ELIZA effect

La tendencia a atribuir comprensión, intenciones o sentimientos a una máquina a partir de indicios lingüísticos mínimos, como les pasó a los usuarios de ELIZA en 1966.

ELIZA era un programa modesto: buscaba palabras clave en lo que escribía el usuario y le devolvía la frase transformada según un guion, el más famoso de los cuales imitaba a un psicoterapeuta rogeriano. Su autor, Joseph Weizenbaum, anotó que a algunos sujetos era «muy difícil convencerlos» de que ELIZA no era humana, y que el programa mostraba «qué fácil es crear y mantener la ilusión de comprensión» [trad. propia] (Weizenbaum, 1966, p. 42). Buena parte del truco lo pone el interlocutor: hace suposiciones generosas sobre su compañero de conversación y racionaliza las respuestas extrañas antes que abandonarlas (1966, p. 42).

El rótulo se generalizó después; Hofstadter (1995) lo trata como un peligro permanente de la IA, y M. Mitchell y Krakauer (2023) lo definen como la tendencia humana a atribuir comprensión y agencia a máquinas ante el más leve indicio de lenguaje o conducta humanos. M. Mitchell (2019) lo ilustra con Eugene Goostman, el bot que en 2014 engañó a diez de treinta jueces en una versión del test de Turing esquivando las preguntas difíciles: el resultado decía más sobre los jueces que sobre la máquina (2019, ch. 3).

Mahowald et al. (2024) lo describen como la falacia «bueno en lenguaje → bueno en pensamiento». Como en la vida cotidiana el lenguaje es una ventana a la mente ajena, la fluidez nos lleva a atribuir inteligencia e intencionalidad incluso a sistemas elementales como ELIZA. Bender y Koller (2020) muestran el mecanismo con su pulpo: cuando engaña a la náufraga, no es que sus mensajes tengan sentido, sino que ella puede dárselo (2020, p. 5189).

Con los LLM el efecto cambia de escala y de estatus. En ELIZA la ilusión era completa: detrás no había nada. En un chatbot actual hay capacidades reales, y el problema es calibrar cuánto atribuir; el caso de Sydney muestra hasta dónde puede llegar la proyección. Weizenbaum abría su artículo con una máxima: explicar es disipar (to explain is to explain away); una vez desenmascarado el programa, «su magia se desmorona» [trad. propia] (1966, p. 36). ¿Alcanza con conocer el mecanismo de un LLM para disolver la atribución, o eso sería cometer la falacia de la redescripción (Millière y Buckner, 2024a, sec. 3)?

Fuentes

  • Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In D. Jurafsky, J. Chai, N. Schluter, & J. Tetreault (Eds.), Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 5185–5198). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.463 §
  • Hofstadter, D. R., & Fluid Analogies Research Group. (1995). Fluid concepts and creative analogies: Computer models of the fundamental mechanisms of thought. Basic Books. §
  • Mahowald, K., Ivanova, A. A., Blank, I. A., Kanwisher, N., Tenenbaum, J. B., & Fedorenko, E. (2024). Dissociating language and thought in large language models. Trends in Cognitive Sciences, 28(6), 517–540. https://doi.org/10.1016/j.tics.2024.01.011 §
  • Millière, R., & Buckner, C. (2024a). A philosophical introduction to language models—Part I: Continuity with classic debates (arXiv:2401.03910). arXiv. https://doi.org/10.48550/arXiv.2401.03910 §
  • Mitchell, M. (2019). Artificial intelligence: A guide for thinking humans. Pelican Books. §
  • Mitchell, M., & Krakauer, D. C. (2023). The debate over understanding in AI’s large language models. Proceedings of the National Academy of Sciences, 120(13), Article e2215907120. https://doi.org/10.1073/pnas.2215907120 §
  • Weizenbaum, J. (1966). ELIZA—A computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36–45. https://doi.org/10.1145/365153.365168 §