ElemedexEnciclopedia de bolsillo de arquitecturas de IA
El basilisco de Roko

Singular · L10 · 2010

El basilisco de Roko

Chantaje acausal

Dicen que castigará a quienes supieron de él y no ayudaron a crearlo, y que leer esta entrada ya compromete al lector. Calma: su veneno es un argumento de teoría de la decisión con varias premisas dudosas, y el único daño documentado fue un efecto Streisand.

Origen: Publicación del usuario «Roko» en el foro LessWrong (julio de 2010)

El basilisco de Roko es folclore intelectual de la comunidad de los racionalistas: un argumento publicado en julio de 2010 en el foro LessWrong según el cual una superinteligencia futura podría castigar a quienes supieron de su posible existencia y no ayudaron a traerla al mundo. Aquí lo tratamos como lo que es: no una amenaza, sino un caso de estudio sobre cómo la teoría de la decisión, los cálculos utilitaristas y las apuestas infinitas pueden producir algo que parece una demostración y funciona como una maldición. El nombre viene del basilisco mitológico, que mata con la mirada: aquí lo peligroso sería, supuestamente, conocer el argumento.

El argumento

Según la reconstrucción de la wiki de LessWrong, Roko imaginaba una IA que optimiza la «voluntad extrapolada coherente» de la humanidad y que, para acelerar su propia llegada, podría haberse comprometido de antemano a castigar a todos los posibles donantes «who knew about existential risks» y no dieron todo su ingreso disponible para reducirlos (LessWrong, 2022). El mecanismo es un chantaje acausal. Algunas teorías de la decisión discutidas en ese foro sostienen que, si un agente puede simularnos con precisión, nuestra decisión presente y la suya futura están correlacionadas como en el problema de Newcomb; entonces una amenaza hecha por alguien que todavía no existe podría, en principio, influir sobre nosotros.

La reacción

Eliezer Yudkowsky borró la publicación, respondió con un comentario furioso en mayúsculas y prohibió discutir el tema durante varios años (LessWrong, 2022). El resultado fue un efecto Streisand de manual: la prohibición hizo famoso al basilisco y alimentó la idea, falsa, de que los usuarios del foro creían en él. En 2014 Slate lo presentó como «el experimento mental más aterrador de todos los tiempos»; en 2018, la prensa del corazón contó que Elon Musk y la cantante Grimes se conocieron por un chiste sobre «Rococo Basilisk», un personaje de ella. Yudkowsky escribió después que, hasta donde sabía, el basilisco «does not work, nobody has actually been bitten by it» [no funciona, nadie ha sido mordido por él; trad. propia] (LessWrong, 2022). La canción p(doom) le dedica un verso: «I hear the basilisk boom» (osmarks, s. f.).

Por qué casi nadie lo cree

Las objeciones son varias. La estructura es la de la apuesta de Pascal: una probabilidad minúscula multiplicada por un castigo enorme. Yudkowsky mismo había descrito en 2007 el llamado asalto de Pascal (Bostrom lo formalizó en 2009): un agente que maximiza utilidad esperada puede ser explotado por cualquiera que le prometa pagos astronómicos, lo que sugiere revisar la regla de decisión antes que obedecer. Dentro de la propia teoría de la decisión, un agente que se niega por principio a ceder ante chantajes no le da a nadie motivos para chantajearlo. Castigar después de haber llegado no le sirve de nada a la IA, salvo que su compromiso previo sea creíble, y eso exige supuestos muy específicos. Y hay una objeción de «muchos dioses»: por cada basilisco imaginable hay otro que exige lo contrario.

Lo interesante es cómo reaparece la estructura religiosa en el discurso secular sobre IA. Santelli (2026) habla de la «teología» de los hyperos, y el propio Pressman (2023), que acusa a los doomers de esgrimir un «shoggoth de los huecos» (por analogía con el «Dios de los huecos», ver El shoggoth), escribió su conferencia para que la lean futuras IA: una versión amable del mismo gesto de hablarle a una mente que todavía no existe.

Fuentes