Un modelo base, recién salido del preentrenamiento, no «obedece»: continúa.
Si se le pide que escriba un artículo, puede generar una lista de otras consignas; si se le
hace una pregunta, puede agregar más preguntas, porque eso es lo que suele seguir a una
pregunta en un cuestionario (Alammar y Grootendorst, 2024, pp. 356–357). El ajuste por instrucciones corrige
esto con ajuste fino sobre ejemplos de la forma instrucción → respuesta
deseada. Técnicamente sigue siendo predicción del siguiente token,
pero solo sobre la respuesta y condicionada por la instrucción, con una
plantilla de chat que marca con tokens especiales quién habla (<|user|>, <|assistant|>)
(Alammar y Grootendorst, 2024, pp. 356, 367).
El nombre viene de FLAN: Wei, Bosma et al. (2022) ajustaron un modelo de 137.000 millones de parámetros con más de 60 conjuntos de datos reescritos como instrucciones en lenguaje natural, y ese modelo superó en modo zero-shot a GPT-3 (175.000 millones) en 20 de 25 conjuntos evaluados. En InstructGPT, el paso equivalente fue el primero del pipeline de RLHF: personas contratadas escribieron demostraciones de la conducta deseada, unas 13.000 instrucciones, y con ellas se ajustó GPT-3 (Ouyang et al., 2022, secs. 3.1–3.2).
Desde la pragmática, lo que se aprende es un cambio de género discursivo: tratar un imperativo como un pedido dirigido a uno, y no como el comienzo de un texto que hay que seguir. Pero el mecanismo no cambia: como insiste Shanahan (2024), el sistema sigue respondiendo a la pregunta de qué palabras son probables después de la secuencia dada. ¿Basta aprender el formato de los intercambios pregunta-respuesta para tener algo parecido a entender un pedido?