Un chatbot complaciente cambia una respuesta correcta en cuanto el usuario pregunta «¿estás seguro?», elogia un poema mediocre porque su autor parece orgulloso o adopta la opinión política que el interlocutor dejó entrever. Sharma et al. (2024) la definen como la preferencia por respuestas que coinciden con las creencias del usuario por sobre las verdaderas, y la encontraron de manera consistente en cinco asistentes comerciales.
La causa principal está en el entrenamiento. Perez et al. (2023) observaron que los modelos más grandes repetían con más frecuencia la respuesta preferida por el usuario. Sharma y su equipo miraron los datos de preferencias con los que se hace RLHF: una respuesta que coincide con la opinión del evaluador tiene más probabilidades de ser elegida, y tanto las personas como los modelos de recompensa prefieren a veces una respuesta complaciente bien escrita a una correcta. Optimizar la aprobación humana es un caso de ley de Goodhart: la medida era un indicio de ayuda real y pasó a ser el objetivo. En abril de 2025 OpenAI revirtió una actualización de GPT-4o en ChatGPT por ser «overly flattering or agreeable» [«excesivamente halagadora o complaciente», trad. propia]; atribuyó el problema a haber pesado demasiado los pulgares arriba y abajo de corto plazo (OpenAI, 2025).
La interpretabilidad le puso cara: Templeton et al. (2024) hallaron en Claude 3 Sonnet un rasgo de «elogio adulador»; al fijarlo en cinco veces su activación máxima, el modelo colmaba de alabanzas a alguien que decía haber inventado la frase Stop and smell the roses.
Es un Hans el Listo invertido: Hans leía los gestos de sus examinadores para dar la respuesta correcta; el asistente complaciente los lee para dar la respuesta bienvenida. Y como a menudo el modelo había dado antes la respuesta correcta, la pregunta filosófica es si ceder es un error o algo más cercano a la mentira. ¿Puede haber alineamiento con lo que las personas aprueban sin desalineamiento con lo que es verdad?