Durante el preentrenamiento, un modelo como GPT-1 recorre un corpus y, en cada posición, intenta predecir el próximo token a partir de los k anteriores. El entrenamiento maximiza la suma de los logaritmos de las probabilidades asignadas a los tokens correctos, L = Σᵢ log P(uᵢ | uᵢ₋ₖ, …, uᵢ₋₁), donde k es el tamaño de la ventana de contexto (Radford et al., 2018, sec. 3.1). Maximizar esa cantidad es lo mismo que minimizar la entropía cruzada (ver función de pérdida).
Ejemplo mínimo. La oración «el gato duerme en la cama» regala cinco ejercicios: «el» → gato; «el gato» → duerme; «el gato duerme» → en; y así hasta cama. Nadie etiqueta nada, porque la respuesta ya está en el texto: por eso se habla de aprendizaje autosupervisado (Alammar y Grootendorst, 2024, p. 355). Gracias a la máscara causal, un transformer resuelve en paralelo todos los ejercicios de una misma oración.
En uso, el mismo mecanismo genera texto: se predice un token, se lo agrega a la entrada y se repite (ver generación autorregresiva) (Alammar y Grootendorst, 2024, pp. 74–76). A diferencia del modelado enmascarado, el modelo solo mira hacia la izquierda.
El debate filosófico gira alrededor de la palabra «solo». Shanahan (2024) recomienda recordar que un LLM, en el nivel de su operación, responde a una única pregunta: qué palabras es probable que vengan después (2024, p. 70). Pero él mismo subraya que, si bien es un hecho de ingeniería que eso es lo que hace, lo notable es que alcance para resolver, aunque de manera poco fiable, problemas de razonamiento nuevos: el modelo no corta y pega fragmentos, sino que modela una distribución de complejidad inimaginable (2024, p. 77). Si predecir bien exige representar algo del mundo que produjo los textos es la pregunta del modelo del mundo. Describir el objetivo no zanja qué capacidades hacen falta para cumplirlo.