El economista Charles Goodhart la formuló en 1975, a propósito de la política monetaria británica: cualquier regularidad estadística observada tiende a colapsar en cuanto se la presiona con fines de control. La versión que circula, «When a measure becomes a target, it ceases to be a good measure» [«cuando una medida se convierte en objetivo, deja de ser una buena medida»], viene de la antropóloga Marilyn Strathern (1997), que escribía sobre las auditorías universitarias (Alammar y Grootendorst, 2024, p. 377). Donald Campbell había dicho algo parecido sobre los indicadores sociales.
En IA es casi una ley de la naturaleza, porque entrenar es optimizar una medida. Alammar y Grootendorst dan un ejemplo mínimo: si solo se premia producir oraciones gramaticales, un modelo puede aprender a decir siempre «This is a sentence.» (2024, p. 377). Millière y Buckner (2024b) llaman gamificación a la carrera por los primeros puestos de los benchmarks: modelos optimizados para la métrica y no para la capacidad que pretendía medir (2024b, sec. 2.1). El hackeo de recompensa, la complacencia y la contaminación de datos son versiones del mismo fenómeno.
Manheim y Garrabrant (2018) distinguen cuatro variantes. Regresiva: seleccionar por un indicador imperfecto selecciona también su ruido. Extrema: en valores extremos del indicador, la relación con el objetivo deja de valer. Causal: intervenir sobre el indicador no mueve el objetivo, como subir la temperatura del termómetro no cura la fiebre. Adversarial: otro agente, con otros fines, explota el indicador.
El problema de fondo es de validez de constructo: la relación entre una medida y lo que mide se sostiene en ciertas condiciones, y optimizar cambia las condiciones. Por eso Chollet (2019) insiste en que la destreza en una tarea no es inteligencia: con conocimiento previo o datos ilimitados, la destreza puede «comprarse» (2019, sec. II.1.1) (ver medir la inteligencia). ¿Hay alguna medida inmune a un optimizador suficientemente potente, o medir inteligencia supone un examinado que no intente ganarle al examen?