Un riesgo existencial (existential risk, abreviado x-risk) es, en la definición de Nick Bostrom (2002), uno cuyo desenlace aniquilaría la vida inteligente originada en la Tierra o recortaría de manera permanente y drástica su potencial. La segunda cláusula importa: no hace falta la extinción, basta con un futuro clausurado para siempre. La categoría incluye guerra nuclear, pandemias diseñadas o asteroides; para esta comunidad, la IA es el candidato principal.
El concepto viene de la filosofía moral de Oxford y del altruismo efectivo, con un argumento largoplacista: si el futuro puede contener una cantidad astronómica de vidas, reducir un riesgo existencial aunque sea en una fracción mínima vale más que casi cualquier otra causa. De ahí pasó a los laboratorios. En mayo de 2023, cientos de investigadores y directivos, entre ellos los de OpenAI, Google DeepMind y Anthropic, firmaron una declaración de una sola oración del Center for AI Safety: mitigar el riesgo de extinción por IA debería ser una prioridad global, a la par de las pandemias y la guerra nuclear. Yudkowsky y Soares llevan el argumento a su conclusión más dura (Yudkowsky y Soares, 2025); la canción, a su versión fatalista: «Too late now, we lit the fuse» (osmarks, s. f.).
Las críticas son de tres tipos. Los escépticos técnicos niegan que haya un camino plausible desde los sistemas actuales hasta ese escenario, y creen que la superinteligencia debería estar muy abajo en la lista de preocupaciones (M. Mitchell, 2019, ch. 16). Otros, en la línea de Bender, piensan que hablar de extinción infla el hype: si la IA puede exterminarnos, es todopoderosa, justo lo que sus vendedores quieren que creamos (Santelli, 2026). Y Gebru y Torres (2024) ubican el concepto dentro de un paquete ideológico, el «TESCREAL», con raíces en el transhumanismo y la eugenesia. Del otro lado responden que los daños presentes y los futuros no compiten, y que descartar una probabilidad pequeña de un daño irreversible es un error de cálculo (p(doom)).