Berglund et al. (2024) describen así una falla de generalización: si un modelo autorregresivo se entrena con oraciones de la forma «A es B», no responde A cuando se le pregunta por B (2024, p. 1). Ajustado con hechos ficticios, GPT-3 175B acierta hasta el 96,7 % en el orden del entrenamiento y cerca del 0 % en el inverso, al nivel del azar (2024, sec. 2.1). Con hechos reales, GPT-4 identifica a la madre o al padre de una celebridad el 79 % de las veces (la madre de Tom Cruise es Mary Lee Pfeiffer), pero dado el progenitor nombra al hijo solo el 33 % (2024, sec. 2.2).
No es una incapacidad de razonar: si «A es B» está en el prompt, los modelos invierten la relación casi sin errores (2024, sec. 1, app. B.6). El problema es lo que el entrenamiento deja en los pesos: según el esbozo de explicación de los autores, el gradiente es «miope» y ajusta la predicción de B dado A, no la de A dado B (2024, sec. 4). Kitouni et al. (2024) la generalizan como «maldición de la factorización»: predecir el token siguiente aprende la distribución en un solo orden, y ni la escala ni invertir los textos lo remedian; sí la atenúa un objetivo indiferente al orden, el modelado enmascarado con tasa uniforme, que es una difusión discreta (2024, resumen, secs. 2.1–2.2). Es lo que entrena LLaDA, que completa el verso anterior de un poema chino casi tan bien como el siguiente (45,6 % contra 51,8 %), mientras que GPT-4o cae de 82,7 % a 34,3 % (Nie et al., 2025, sec. 3.3).
Identidad y simetría. Los autores proponen ver aquí una falla de deducción: de a = b se sigue b = a por simetría. Advierten que simplifica: el modelo aprende a predecir lo que la gente escribiría, no lo que es verdadero (2024, sec. 1). Frege (1892/1998) partía de otra asimetría: a = a vale a priori, y a = b puede ser un descubrimiento, como que el lucero de la mañana sea el de la tarde (1892/1998, pp. 84–85). La maldición agrega una tercera: para el modelo, a = b y b = a no están igualmente disponibles. ¿Guarda identidades, o asociaciones dirigidas? También nosotros recitamos peor el alfabeto al revés, aunque no con un efecto tan drástico, según los autores (2024, sec. 3).