ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Jerga de San Francisco

MT226

Ingeniero del botón de apagado

También: killswitch engineer, corregibilidad

En inglés: Killswitch engineer

Aviso de empleo satírico de 2023 (desenchufar los servidores si la IA se rebela) que se volvió emblema del problema de la corregibilidad: diseñar sistemas que se dejen apagar.

«Killswitch engineer» es un chiste que se volvió símbolo. En marzo de 2023 circuló en redes, a partir de un post humorístico en Reddit, un supuesto aviso de empleo de OpenAI: entre 300.000 y 500.000 dólares anuales por quedarse junto a los servidores y desenchufarlos si «this thing» se volvía en contra de la humanidad; requisitos: ser paciente, saber desenchufar cosas y, como plus, poder tirarles un balde de agua. Era una sátira, pero resumía una intuición popular: si algo sale mal, se apaga y listo. La canción la usa para el peor escenario burocrático, con los encargados de vacaciones justo ese día: «Killswitch guys on PTO» (osmarks, s. f.).

La comunidad de seguridad lleva años explicando por qué el chiste es más serio de lo que parece. Un agente con metas tiene razones para evitar que lo apaguen, porque apagado no cumple ninguna (Omohundro, 2008) (ver convergencia instrumental). De ahí el problema de la corregibilidad: diseñar sistemas que cooperen con quienes quieren corregirlos o detenerlos, en lugar de resistirse (Soares et al., 2015). Una respuesta formal fue el «juego del interruptor» de Hadfield-Menell et al. (2017): un robot incierto sobre lo que quiere el humano tiene incentivos para dejarse apagar, siempre que el humano no sea demasiado irracional.

La idea llegó a la regulación y al laboratorio. El proyecto californiano SB 1047, vetado en 2024, exigía a los desarrolladores de modelos de frontera la capacidad de apagarlos, algo que la prensa llamó kill switch (ver umbrales de cómputo). Y experimentos recientes muestran modelos que, en entornos de prueba, sabotean un mecanismo de apagado para terminar su tarea (Schlatter et al., 2026). Los escépticos matizan: lo que se mide es qué comandos produce un sistema cuando se lo deja actuar como agente en una consola, con instrucciones cuya redacción cambia mucho los resultados; nadie esconde el enchufe. La pregunta de fondo sigue abierta: ¿se puede querer que un sistema sea a la vez capaz de perseguir fines y dispuesto a que se los quiten?

Fuentes

  • Hadfield-Menell, D., Dragan, A., Abbeel, P., & Russell, S. (2017). The off-switch game. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (IJCAI-17) (pp. 220–227). International Joint Conferences on Artificial Intelligence Organization. https://doi.org/10.24963/ijcai.2017/32 §
  • Omohundro, S. M. (2008). The basic AI drives. In P. Wang, B. Goertzel, & S. Franklin (Eds.), Artificial general intelligence 2008: Proceedings of the First AGI Conference (pp. 483–492). IOS Press. §
  • osmarks. (n.d.). P(Doom) song objectively correct interpretation. GTech™ Documentation. Retrieved September 30, 2026, from https://docs.osmarks.net/hypha/p(doom)_song_objectively_correct_interpretation §
  • Schlatter, J., Weinstein-Raun, B., & Ladish, J. (2026). Incomplete tasks induce shutdown resistance in some frontier LLMs. Transactions on Machine Learning Research. https://openreview.net/forum?id=e4bTTqUnJH §
  • Soares, N., Fallenstein, B., Yudkowsky, E., & Armstrong, S. (2015). Corrigibility. In Artificial intelligence and ethics: Papers from the 2015 AAAI Workshop (AAAI Technical Report WS-15-02). AAAI Press. https://aaai.org/papers/aaaiw-ws0067-15-10124/ §