El vocabulario viene de la psicología del aprendizaje animal. Un agente percibe el estado de un entorno, elige una acción y a veces recibe una recompensa, que es simplemente un número. Lo que aprende es una política, una regla que asigna acciones a estados, y a menudo una estimación del valor de cada estado o acción: cuánta recompensa total cabe esperar a partir de ahí (Sutton y Barto, 2018; M. Mitchell, 2019, ch. 8). No hay ejemplos etiquetados con la acción correcta, solo recompensas intermitentes y a menudo demoradas. Por eso el agente debe equilibrar explotación (repetir lo que funcionó) y exploración (probar lo nuevo).
M. Mitchell (2019) lo presenta como la versión computacional del condicionamiento operante, la técnica de los entrenadores de animales: premiar la conducta deseada e ignorar el resto (2019, ch. 8); Chollet (2021) lo compara con adiestrar un perro (2021, sec. 7.4). Sutton y Barto llaman hipótesis de la recompensa a la tesis de que todo lo que entendemos por metas y propósitos puede pensarse como la maximización de una señal escalar acumulada (Sutton y Barto, 2018).
Sus éxitos más famosos son los juegos: AlphaGo combinó redes entrenadas con partidas humanas, juego contra sí mismo y búsqueda en árbol (Silver et al., 2016). Hoy reaparece en los modelos de lenguaje: el RLHF usa un modelo de recompensa entrenado con preferencias humanas (Ouyang et al., 2022), y los modelos de razonamiento se entrenan con recompensas verificables en matemática y programación (Guo et al., 2025).
Dos cuidados. La recompensa no es placer ni deseo: es un número que define el diseñador, y el agente maximiza esa definición, atajos incluidos (el llamado reward hacking; ver alineamiento). Y la analogía conductista trae consigo sus viejas objeciones: Chomsky (1959) sostuvo contra Skinner que el condicionamiento no alcanza para explicar el lenguaje humano. ¿Por qué alcanzaría para una máquina, o por qué no?