En el RLHF hacen falta millones de evaluaciones, y ninguna empresa puede pagar a personas para leerlas todas. La solución es entrenar un segundo modelo que prediga el juicio humano (Alammar y Grootendorst, 2024, p. 379). Se toma una copia del modelo ajustado por instrucciones y se le cambia la «cabeza»: en lugar de probabilidades sobre el vocabulario, devuelve un solo número. InstructGPT usó modelos de recompensa de 6.000 millones de parámetros (Ouyang et al., 2022, sec. 3.5).
Los datos son comparaciones: una instrucción, una respuesta aceptada y otra rechazada (no necesariamente una buena y una mala; a veces ambas son buenas y una es mejor) (Alammar y Grootendorst, 2024, pp. 380–382). El entrenamiento empuja a que la aceptada puntúe más alto. La diferencia de puntajes se interpreta como una probabilidad de preferencia, al modo del modelo de Bradley y Terry (1952) o del sistema Elo del ajedrez (Christiano et al., 2017, sec. 2.2.3):
P(A preferida a B) = 1 / (1 + e^−(r_A − r_B)). Si r_A − r_B = 1, P ≈ 0,73.
El riesgo es que el modelo optimizado aprenda a complacer al juez en lugar de hacer lo que el juez intenta medir (la llamada ley de Goodhart). Es la versión lingüística del reward hacking que Buckner (2024) documenta en el aprendizaje por refuerzo: un agente que da vueltas en círculo para juntar bonificaciones sin terminar nunca la carrera (2024, p. 68). Por eso InstructGPT penaliza alejarse del modelo previo (Ouyang et al., 2022, sec. 3.5), y Llama 2 usa dos modelos de recompensa, uno de utilidad y otro de seguridad (Alammar y Grootendorst, 2024, p. 383).
Para un inferencialista hay una distinción que el procedimiento borra: la que separa tomar algo por correcto de que sea correcto. Un modelo de recompensa es un modelo de las aprobaciones de un grupo de evaluadores. ¿Puede un modelo de actitudes hacer las veces de un modelo de normas? Ver inferencialismo.