Un modelo es autorregresivo cuando consume sus propias predicciones previas para hacer las siguientes. Un LLM generativo no produce la respuesta de una vez: en cada pasada calcula una distribución sobre el próximo token, elige uno, lo agrega al final del texto y vuelve a empezar; un programa alrededor de la red ejecuta ese bucle hasta llegar a un token de fin o a un límite (Alammar y Grootendorst, 2024, pp. 74–76). Por eso se suele llamar «modelos autorregresivos» a los generadores de texto, en contraste con codificadores como BERT (Alammar y Grootendorst, 2024, p. 76). El término viene de la estadística de series temporales, donde un valor se «regresa» sobre sus propios valores pasados.
Ejemplo mínimo. Entrada: «La capital de Francia es». Paso 1: el modelo propone París. Nueva entrada: «La capital de Francia es París». Paso 2: propone un punto. Nueva entrada: «La capital de Francia es París.», y así. Cada token generado pasa a ser contexto. (Con la entrada en inglés, Phi-3 elige efectivamente Paris (Alammar y Grootendorst, 2024, pp. 80–81).)
Consecuencias prácticas. La secuencia crece con cada token, así que la ventana de contexto se va llenando (Alammar y Grootendorst, 2024, p. 22). Para no recalcular todo en cada paso se guardan resultados intermedios en la caché KV (Alammar y Grootendorst, 2024, p. 83). El modo de elegir cada token, voraz o por muestreo, cambia el texto resultante. Y lo escrito no se corrige: un token ya emitido condiciona todo lo que sigue.
Una tentación es concluir que un modelo autorregresivo «no planifica» porque escribe de izquierda a derecha. El formato de salida no decide esa cuestión: qué información sobre la continuación está representada internamente en cada paso es una pregunta empírica, que corresponde a la interpretabilidad. Son autorregresivas las especies GPT-2 y GPT-3; también lo era el decodificador recurrente de Seq2seq (Alammar y Grootendorst, 2024, p. 12).