El RLHF nació para un problema de robótica simulada: ¿cómo enseñar una conducta para la que nadie sabe escribir una función de recompensa? Christiano et al. (2017) mostraban a una persona dos clips de 1 a 2 segundos, le preguntaban cuál prefería y entrenaban con esas comparaciones un predictor de recompensa; con 900 consultas, en menos de una hora de trabajo humano, un robot simulado aprendió a dar volteretas hacia atrás (2017, secs. 2.2, 3.2).
Aplicado a modelos de lenguaje, el procedimiento canónico es el de InstructGPT, antecesor de ChatGPT (Ouyang et al., 2022, sec. 3.1):
- Demostraciones: personas escriben respuestas ideales y se hace ajuste por instrucciones.
- Comparaciones: personas ordenan varias respuestas del modelo; con eso se entrena un modelo de recompensa.
- Refuerzo: el modelo se optimiza con PPO para maximizar esa recompensa, con una penalización que le impide alejarse demasiado del modelo del paso 1 y «explotar» al juez (2022, sec. 3.5).
El resultado llamó la atención: las respuestas de un InstructGPT de 1.300 millones de parámetros fueron preferidas a las del GPT-3 de 175.000 millones (Ouyang et al., 2022). Variantes posteriores como DPO prescinden del modelo de recompensa separado (Alammar y Grootendorst, 2024, pp. 383–385), y la IA constitucional reemplaza parte del juicio humano por juicio de otro modelo.
Conviene leer la letra chica. Los propios autores preguntan a quién se está alineando: unas 40 personas contratadas, mayormente de Estados Unidos y el Sudeste Asiático, que coincidían entre sí en torno al 73 % de las veces, siguiendo instrucciones escritas por la empresa (Ouyang et al., 2022, sec. 5.2). Y OpenAI reconoció al lanzar ChatGPT que durante el entrenamiento por refuerzo «there’s currently no source of truth» [«por ahora no hay fuente de verdad», trad. propia] (OpenAI, 2022). La canción de p(doom) lo resume en un verso: «RLHF goes askew» (osmarks, s. f.). Para Millière (2025), el RLHF produce disposiciones conductuales superficiales, no capacidad de deliberar normativamente; de ahí su fragilidad ante el jailbreak.