En aprendizaje automático, un modelo del mundo es una representación interna que simula aspectos del entorno y permite predecir qué pasaría si se interviniera sobre él: así lo usan los agentes de aprendizaje por refuerzo que planifican imaginando las consecuencias de sus acciones (Millière y Buckner, 2024a, sec. 3.4). Aplicada a los modelos de lenguaje, la pregunta cambia de forma: ¿tienen representaciones de las entidades y la dinámica del mundo que les permitan producir texto coherente con él, o solo manejan estadísticas de superficie? Es más exigente que la cuestión de la referencia: no basta con que «gato» apunte a los gatos; hay que representar propiedades globales de la situación en la que interactúan las entidades del discurso (2024a, sec. 3.4).
La evidencia más citada viene de un juego. Othello-GPT es un decodificador tipo GPT entrenado solo con secuencias de jugadas, sin reglas ni tablero. Aun así propone jugadas legales con alta precisión, y sondas entrenadas sobre sus activaciones recuperan el estado del tablero; si se editan esas activaciones para alterar el estado de una casilla, las jugadas predichas cambian en consecuencia (Li et al., 2023). Nanda et al. (2023) mostraron luego que el tablero está codificado linealmente, pero relativo al jugador de turno («mía», «del rival», «vacía») y no por color (Millière y Buckner, 2024b, sec. 2.5.3).
Conviene no extrapolar sin más. Son dominios de juguete; las redes prefieren atajos mientras les alcance para bajar la pérdida; cuando Millière y Buckner escribieron, la evidencia intervencionista sobre los modelos más grandes era escasa, y sus fallas fuera de distribución sugerían modelos parciales y frágiles. Además, que emerja un modelo del mundo depende de que el texto contenga la información necesaria y de que la presión de la predicción del siguiente token alcance para inducirlo; ninguna de las dos cosas está garantizada de antemano (Millière y Buckner, 2024b, sec. 2.5.3).
La cuestión importa porque ofrece una salida empírica al dilema del Blockhead: un sistema que responde bien porque representa el mundo no es una tabla de respuestas memorizadas (Millière y Buckner, 2024a, sec. 3.4). M. Mitchell (2019), en cambio, liga los modelos mentales humanos a una física y una psicología intuitivas tempranas y a la simulación de la propia experiencia (2019, ch. 14). ¿Puede contar como modelo del mundo uno aprendido solo de texto?