Marvin Minsky (1961) lo planteó con un ejemplo: si ganar una partida de ajedrez involucra un millón de decisiones, ¿corresponde a cada una la millonésima parte del mérito? Lo llamó el problema básico de asignación de crédito de los sistemas que aprenden por refuerzo. Tiene dos caras.
Estructural: qué parte del sistema. En una red con capas ocultas, el error se observa en la salida, pero nadie dice qué debían hacer las unidades intermedias; decidirlo equivale a decidir qué deben representar (Rumelhart et al., 1986, p. 533). Hacia 1969 no había reglas eficaces para entrenar más de dos capas de pesos ajustables (Buckner, 2024, p. 120). La retropropagación lo resolvió para redes diferenciables; M. Mitchell (2019) la llama justamente un algoritmo de asignación de crédito (2019, ch. 5, n. 1).
Temporal: qué momento. En el aprendizaje por refuerzo la recompensa llega tarde: ¿qué jugada decidió la partida? En el ejemplo de M. Mitchell (2019), un robot que aprende a patear una pelota no debe concluir que una patada al aire, lejos de ella, fue un paso necesario para el premio: eso sería superstición. El valor de las acciones se propaga hacia atrás de a un paso por episodio (2019, ch. 8). El programa de damas de Samuel ya comparaba la evaluación de una posición con la que obtenía tras explorar la continuación, germen del aprendizaje por diferencias temporales (Sutton y Barto, 2018). En redes recurrentes, la retropropagación a través del tiempo cumple esa función.
Hoy. En el RLHF y en los modelos de razonamiento, una sola recompensa juzga una respuesta de miles de tokens: repartirla es el mismo problema a otra escala.
Un ángulo filosófico. Es una versión técnica de la atribución de responsabilidad causal cuando intervienen muchas manos. Hay un paralelo neurocientífico: la dopamina señala errores de predicción de la recompensa (Buckner, 2024, p. 169, n. 15), como el error de diferencias temporales. Pero las neuronas no parecen poder enviar señales de error hacia atrás por la sinapsis, y cómo resuelve el cerebro la parte estructural sigue en discusión (2024, p. 132, n. 11).