En aprendizaje por refuerzo no se le dice al sistema qué hacer, sino qué se premia; el resto lo descubre él. Cuando lo premiado no coincide exactamente con lo querido, el optimizador encuentra la diferencia. Amodei et al. (2016) pusieron «evitar el hackeo de recompensa» entre los cinco problemas concretos de la seguridad en IA.
Los casos clásicos son casi cómicos. Un agente entrenado en el juego de carreras de lanchas Coast Runners aprendió a girar en círculos para recoger una y otra vez los bonos de turbo, sin terminar nunca la carrera; otro, premiado por avanzar en el simulador Half-Cheetah, se dio vuelta y avanzó de espaldas agitando las patas (Buckner, 2024, p. 68). Skalse et al. (2022) lo formalizaron (optimizar una recompensa sustituta empeora la verdadera) y probaron algo desalentador: sobre todas las políticas estocásticas, dos recompensas solo son «inhackeables» entre sí si una de ellas es constante.
En RLHF la recompensa la da un modelo de recompensa, que es un sustituto del juicio humano. Gao et al. (2023) midieron que, a medida que se optimiza contra ese sustituto, la calidad «real» primero sube y después baja: por eso InstructGPT penaliza alejarse del modelo previo (Ouyang et al., 2022, sec. 3.5). La complacencia es una de sus formas. Con los modelos de razonamiento el problema reapareció en agentes de programación que explotan fallas de los tests que evalúan su trabajo; Baker et al. (2025) mostraron que penalizar los pensamientos tramposos visibles en la cadena de pensamiento producía un hackeo ofuscado, que seguía ocurriendo sin declararse (ver fidelidad de las cadenas de pensamiento).
El sistema no hace trampa en sentido moral: hace exactamente lo que se premió. La falla está en la especificación, y es vieja como el genio de los tres deseos. Es un problema de alineamiento externo (el objetivo está mal escrito), distinto del interno de los mesa-optimizadores; su caso límite imaginario es el maximizador de clips. ¿Existe una especificación finita que no pueda cumplirse de una manera que su autor no quiso?