Métodos que ajustan un modelo a partir de comparaciones entre respuestas («esta es mejor que aquella»), ya sea con un modelo de recompensa y refuerzo (PPO) o directamente (DPO).
Los datos tienen la forma para este prompt, la respuesta A es mejor que la B
(Alammar y Grootendorst, 2024, pp. 380–381). Comparar les resulta a las personas más fácil que puntuar
(Christiano et al., 2017, sec. 1), y se modela con Bradley–Terry: detrás de cada elección habría un
puntaje latente (ver modelo de recompensa).
PPO. La ruta clásica del RLHF entrena un modelo de recompensa r y luego optimiza
el modelo de lenguaje π con proximal policy optimization (Schulman et al., 2017), un
algoritmo de aprendizaje por refuerzo probado en robots simulados y
videojuegos. El objetivo es máx E[r(x, y)] − β · KL(π ‖ π_ref): la recompensa esperada menos
una penalización por alejarse del modelo de referencia, para no explotar las fallas del juez
(Ouyang et al., 2022, sec. 3.5). Es caro e inestable: exige muestrear respuestas mientras se entrena y
mantener varios modelos (Alammar y Grootendorst, 2024, pp. 383–384).
DPO. Rafailov et al. (2023) notaron que el óptimo de ese objetivo tiene forma cerrada.
Al sustituirlo en Bradley–Terry, la recompensa desaparece y queda una pérdida de
clasificación: subir la probabilidad de la respuesta preferida y bajar la de la rechazada,
relativas al modelo de referencia. De ahí el subtítulo: «tu modelo de lenguaje es
secretamente un modelo de recompensa». Es más estable y barato (Alammar y Grootendorst, 2024, pp. 384–385).
ORPO, además, funde ajuste supervisado y preferencias en un paso (2024, p. 389).
Las preferencias no tienen que ser humanas: en la IA constitucional las
da otro modelo (Bai et al., 2022). Y no todo refuerzo es preferencia: el entrenamiento de
razonamiento de DeepSeek-R1 usó recompensas por reglas (¿es correcta la
respuesta final?), y sus autores advierten que un juez aprendido sería más fácil de explotar
(Guo et al., 2025).
Queda un supuesto fuerte: Bradley–Terry pone todo en una sola escala. Utilidad, verdad,
cortesía y estilo se vuelven conmensurables, y las preferencias de muchas personas se funden
en una; la teoría de la elección social sabe desde Arrow (1951) que agregar preferencias no es
neutral. ¿Qué se pierde cuando el desacuerdo entre evaluadores se trata como ruido?
Fuentes
- Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
- Arrow, K. J. (1951). Social choice and individual values. Wiley. https://cowles.yale.edu/sites/default/files/2022-09/m12-all.pdf §
- Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., Chen, A., Goldie, A., Mirhoseini, A., McKinnon, C., Chen, C., Olsson, C., Olah, C., Hernandez, D., Drain, D., Ganguli, D., Li, D., Tran-Johnson, E., Perez, E., . . . Kaplan, J. (2022). Constitutional AI: Harmlessness from AI feedback (arXiv:2212.08073). arXiv. https://doi.org/10.48550/arXiv.2212.08073 §
- Christiano, P. F., Leike, J., Brown, T., Martic, M., Legg, S., & Amodei, D. (2017). Deep reinforcement learning from human preferences. In Advances in Neural Information Processing Systems (Vol. 30). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2017/hash/d5e2c0adad503c91f91df240d0cd4e49-Abstract.html §
- Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., Zhu, Q., Xu, R., Zhang, R., Ma, S., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., Liu, A., . . . Zhang, Z. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645(8081), 633–638. https://doi.org/10.1038/s41586-025-09422-z §
- Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P. F., Leike, J., & Lowe, R. (2022). Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems (Vol. 35, pp. 27730–27744). Curran Associates. https://doi.org/10.52202/068431-2011 §
- Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. In Advances in Neural Information Processing Systems (Vol. 36, pp. 53728–53741). Curran Associates. https://doi.org/10.52202/075280-2338 §
- Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms (arXiv:1707.06347). arXiv. https://doi.org/10.48550/arXiv.1707.06347 §
