Se llama alucinación a que un modelo de lenguaje produzca con seguridad información incorrecta (Alammar y Grootendorst, 2024, p. 177): una biografía con fechas equivocadas, un artículo académico que no existe. En la literatura técnica se define como contenido sin sentido o infiel a la fuente provista, y se distingue la alucinación intrínseca (contradice la fuente) de la extrínseca (no puede verificarse con ella) (Ji et al., 2023, secs. 2–2.1).
No es un desperfecto ocasional sino una consecuencia del objetivo de entrenamiento: el modelo aprende a producir continuaciones plausibles, sin ninguna referencia a si son verdaderas (Mahowald et al., 2024). Al lanzar ChatGPT, OpenAI admitió que el sistema a veces da respuestas plausibles pero incorrectas, entre otras cosas porque en el entrenamiento por refuerzo «there’s currently no source of truth» [«por ahora no hay fuente de verdad», trad. propia] (OpenAI, 2022). El aumento por recuperación reduce el problema dándole al modelo documentos en los que apoyarse, pero no lo elimina (Alammar y Grootendorst, 2024, pp. 249–250).
La palabra es polémica. Viene de la visión por computadora, donde tenía un sentido positivo: «alucinar» detalles para aumentar la resolución de una imagen (Ji et al., 2023, sec. 1). Aplicada a modelos de lenguaje, recibe tres objeciones. Sugiere una percepción, y el modelo no percibe nada; por eso Smith et al. (2023) proponen confabulación, el término clínico para relatos falsos que el paciente no reconoce como tales. Usa un síntoma psiquiátrico como metáfora, lo que puede estigmatizar; Østergaard y Nielbo (2023) prefieren nombres de falacias, como non sequitur. Y sugiere una excepción, cuando las respuestas verdaderas y las falsas salen exactamente del mismo proceso. Hicks et al. (2024) van más lejos: en el sentido de Frankfurt, lo que producen estos sistemas es bullshit, habla indiferente a la verdad.
Shanahan (2024) da la base de la discusión: un modelo desnudo no tiene noción de verdad o falsedad, porque carece de los medios para ejercer esos conceptos como nosotros (2024, p. 72). Si es así, ¿tiene sentido hablar de error, o solo de un texto que no coincide con el mundo? Ver antropomorfismo.