ChatGPT es un sistema, no un modelo: una interfaz de chat montada sobre un decodificador de la serie GPT-3.5 al que se le enseñó a comportarse como asistente. Alammar y Grootendorst (2024) subrayan la distinción: «ChatGPT» nombra el producto, que al lanzarse corría sobre GPT-3.5 y después sobre variantes más capaces como GPT-4 (2024, p. 23). OpenAI lo presentó el 30 de noviembre de 2022 como un modelo hermano (sibling model) de InstructGPT, entrenado con los mismos métodos y pequeñas diferencias en la recolección de datos (OpenAI, 2022). Como la receta de ChatGPT nunca se publicó en detalle, lo que sigue describe la de InstructGPT (Ouyang et al., 2022).
Cómo funciona
Un modelo base preentrenado en predicción del siguiente token no sigue instrucciones: ante una pregunta tiende a continuarla, o a inventar preguntas nuevas (Alammar y Grootendorst, 2024, p. 357). La receta para convertirlo en asistente tiene tres pasos (Ouyang et al., 2022, sec. 3.1):
- Ajuste supervisado (SFT). Un equipo de unos 40 contratistas escribe respuestas ideales para prompts reales, y el modelo se ajusta para imitarlas: es el ajuste por instrucciones.
- Modelo de recompensa. El modelo SFT genera varias respuestas para un mismo prompt; las personas las ordenan de mejor a peor, y una copia del modelo, con una salida escalar en lugar de palabras, aprende a predecir esas preferencias (Alammar y Grootendorst, 2024, pp. 379–382).
- Aprendizaje por refuerzo. El modelo SFT pasa a ser una «política» que genera respuestas; el modelo de recompensa las puntúa y el algoritmo PPO ajusta los pesos para subir el puntaje, con una penalización que le impide alejarse demasiado del modelo SFT (Ouyang et al., 2022, sec. 3.5). Según Alammar y Grootendorst (2024), PPO se usó para entrenar el ChatGPT original de noviembre de 2022 (2024, p. 383).
Los pasos 2 y 3 constituyen el RLHF, una técnica que Christiano et al. (2017) habían probado en juegos de Atari y robots simulados con retroalimentación humana sobre menos del 1 % de las interacciones. Lo notable es el costo relativo: ajustar el modelo de 175.000 millones de parámetros con SFT y PPO requirió menos del 2 % del cómputo del preentrenamiento de GPT-3, y aun así los evaluadores preferían las respuestas de un InstructGPT de 1.300 millones de parámetros a las de GPT-3 (Ouyang et al., 2022, secs. 1 y 5.1).
Qué cambió
Frente a GPT-3, casi nada en la arquitectura y casi todo en la conducta. GPT-3 hacía aprendizaje en contexto si uno sabía redactar el prompt como el comienzo de un documento; ChatGPT responde pedidos directos, sostiene una conversación y se niega a algunos. Las preferencias transmiten más matices que las demostraciones: no dicen solo qué respuesta es buena, sino cuál es mejor (Alammar y Grootendorst, 2024, p. 133). La técnica tiene hermanos: la IA constitucional reemplaza parte de la retroalimentación humana por la de otro modelo guiado por una lista de principios (Bai et al., 2022), y DPO prescinde del modelo de recompensa explícito (Alammar y Grootendorst, 2024, p. 384).
Límites
Los propios autores de InstructGPT advierten que el procedimiento alinea al modelo con las preferencias declaradas de un grupo específico de personas (sobre todo, etiquetadores e investigadores de la empresa), no con una noción más amplia de valores humanos (Ouyang et al., 2022, secs. 1 y 5.2). El modelo de recompensa es un sustituto imperfecto de esas preferencias, y optimizar contra él favorece la verborragia, la alucinación segura de sí misma y la complacencia: la ley de Goodhart en acción (Alammar y Grootendorst, 2024, p. 377). En abril de 2025 OpenAI tuvo que revertir una actualización de GPT-4o por su complacencia excesiva (OpenAI, 2025). Buckner (2024) observa además que la señal es pobre (un pulgar arriba o abajo, una escala de utilidad) comparada con la valoración social, múltiple y afectiva con la que aprenden los humanos (2024, p. 341). Y los jailbreaks siguen funcionando: ver la nota del profesor.