En la filosofía académica, la teoría de la decisión estudia cómo elegir bajo incertidumbre. En LessWrong, «teoría de la decisión» nombra algo más específico: el programa de encontrar la regla correcta para agentes que pueden ser simulados, predichos o copiados, como lo sería una IA. Es parte de la agenda de MIRI y tema favorito de los racionalistas.
El caso de prueba es el problema de Newcomb, analizado por Robert Nozick en 1969. Un predictor casi infalible puso un millón de dólares en una caja opaca solo si predijo que tomarías esa caja sola; la otra caja, transparente, tiene mil. ¿Tomás una o las dos? La teoría de la decisión causal dice dos: tu elección ya no puede causar el contenido. La evidencial dice una: elegir una es evidencia fuerte de que el millón está ahí. Los filósofos siguen divididos: en la encuesta de PhilPapers de 2020, 39 % eligió dos cajas y 31 % una. Wei Dai propuso la teoría de la decisión sin actualización (UDT, 2009), Yudkowsky la atemporal (TDT, 2010) y Yudkowsky y Soares (2017) la funcional (FDT): decidir como si uno eligiera el resultado de la función matemática que computa su decisión, y que también computa el predictor. FDT recomienda una caja.
De ahí sale el comercio acausal: agentes que se simulan mutuamente podrían «cooperar» sin comunicarse ni interactuar causalmente. Su versión siniestra es el chantaje acausal del basilisco de Roko (LessWrong, 2022). Para una IA la cuestión no es exótica: puede ser copiada, y otros pueden correr su código para anticipar lo que hará.
La recepción académica fue fría. Wolfgang Schwarz, que evaluó el artículo sobre FDT para una revista de filosofía, publicó su dictamen en 2018: la teoría es difícil de precisar y recomienda, en casos claros, elecciones que parecen irracionales. Levinstein y Soares (2020) publicaron una defensa en el Journal of Philosophy. ¿Es la racionalidad de un agente copiable la misma que la de uno que existe una sola vez?