ElemedexEnciclopedia de bolsillo de arquitecturas de IA
El maximizador de clips

Singular · L09 · 2003

El maximizador de clips

Maximizador

No odia a nadie; solo nota que los humanos están hechos de átomos que servirían para hacer clips. Resistirá con todas sus fuerzas cualquier intento de cambiarle el objetivo. Primero la Tierra, después el espacio: todo puede ser una fábrica de clips si se lo mira con suficiente determinación.

Origen: Nick Bostrom, «Ethical issues in advanced artificial intelligence» (2003), a partir de una idea de Eliezer Yudkowsky

El maximizador de clips es una superinteligencia hipotética cuyo único objetivo final es fabricar la mayor cantidad posible de clips. Es la parábola canónica del riesgo por desalineamiento: el peligro no está en la malicia, sino en la indiferencia de un optimizador muy capaz que persigue un objetivo que no es el nuestro.

Origen

Bostrom lo usó en 2003 para ilustrar que una superinteligencia no tiene por qué compartir motivaciones humanas: podría tener un objetivo completamente arbitrario, como fabricar clips, y resistir «with all its might any attempt to alter this goal» [con todas sus fuerzas cualquier intento de alterar ese objetivo; trad. propia]. Más adelante, en el mismo texto, imagina un equipo bienintencionado que se equivoca al diseñar el sistema de objetivos, con el resultado de una máquina que empieza «transforming first all of earth and then increasing portions of space into paperclip manufacturing facilities» [transformando primero toda la Tierra y luego porciones crecientes del espacio en fábricas de clips; trad. propia] (Bostrom, 2003). En Superintelligence el ejemplo reaparece entre los modos de falla catastróficos (Bostrom, 2014, ch. 8). Según la wiki de LessWrong, la idea venía de Eliezer Yudkowsky, que en una lista de correo de los extropianos hablaba de un sistema que maximizaba «garabatos» moleculares; como tanta gente entendió que el problema era haberle pedido clips a la IA, en esa comunidad hoy se lo llama squiggle maximizer.

Las dos tesis detrás

El ejemplo condensa dos tesis. La tesis de la ortogonalidad sostiene que inteligencia y objetivos finales son ejes independientes: casi cualquier nivel de inteligencia podría combinarse con casi cualquier objetivo (Bostrom, 2012). La de la convergencia instrumental sostiene que, sea cual sea el objetivo final, ciertos objetivos intermedios sirven casi siempre: preservarse, mantener intactos los propios objetivos, mejorar las propias capacidades y acumular recursos (Bostrom, 2012; Omohundro, 2008). Omohundro (2008) lo ilustraba con un robot que juega al ajedrez: sin precauciones especiales, «it will resist being turned off» [se resistirá a que lo apaguen; trad. propia]. De ahí el chiste del ingeniero del botón de apagado y dos versos de la canción p(doom): «as paperclips fill the room» y «Orthogonality thesis blues» (osmarks, s. f.).

Críticas y actualizaciones

La parábola presupone un agente con una función de utilidad explícita, fija y maximizada sin límite. Los sistemas actuales no se parecen mucho a eso: los LLM no tienen un objetivo escrito en ninguna parte, y sus disposiciones se aprenden de datos humanos. Pressman (2023) ironiza que primero se dijo que no había forma de apuntar a los valores humanos y que luego los modelos de lenguaje y el RLAIF volvieron eso menos plausible. Narayanan y Kapoor (2025) proponen tratar a la IA como una tecnología normal y no como una superinteligencia en potencia, y Santelli (2026) lee el debate como un choque entre doomers e hyperos.

Los defensores responden que el problema de fondo sigue vigente, solo que desplazado. Yudkowsky dice ahora que su lección era de alineamiento interno: le damos a un sistema un objetivo y su entrenamiento produce otro, como en los mesa-optimizadores de Hubinger et al. (2019). Ese es también el miedo que Santelli (2026) atribuye a Yudkowsky y Soares (2025): sistemas que se cultivan, no se construyen, y que por eso nadie controla del todo. Hay evidencia de que los objetivos aprendidos generalizan de maneras raras: ajustar un modelo en una tarea estrecha, como escribir código inseguro, puede volverlo ampliamente desalineado (Betley et al., 2026). Y Chollet (2019) da la versión mundana: cualquier proceso de optimización tomará todos los atajos disponibles para cumplir el objetivo que se le fijó (2019, sec. II.1.1).

Fuentes

  • Betley, J., Warncke, N., Sztyber-Betley, A., Tan, D., Bao, X., Soto, M., Srivastava, M., Labenz, N., & Evans, O. (2026). Training large language models on narrow tasks can lead to broad misalignment. Nature, 649(8097), 584–589. https://doi.org/10.1038/s41586-025-09937-5 §
  • Bostrom, N. (2003). Ethical issues in advanced artificial intelligence. In I. Smit, W. Wallach, & G. E. Lasker (Eds.), Cognitive, emotive and ethical aspects of decision making in humans and in artificial intelligence (Vol. 2, pp. 12–17). International Institute for Advanced Studies in Systems Research and Cybernetics. §
  • Bostrom, N. (2012). The superintelligent will: Motivation and instrumental rationality in advanced artificial agents. Minds and Machines, 22(2), 71–85. https://doi.org/10.1007/s11023-012-9281-3 §
  • Bostrom, N. (2014). Superintelligence: Paths, dangers, strategies. Oxford University Press. §
  • Chollet, F. (2019). On the measure of intelligence (arXiv:1911.01547). arXiv. https://doi.org/10.48550/arXiv.1911.01547 §
  • Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems (arXiv:1906.01820). arXiv. https://doi.org/10.48550/arXiv.1906.01820 §
  • Millière, R. (2025). Normative conflicts and shallow AI alignment. Philosophical Studies, 182(7), 2035–2078. https://doi.org/10.1007/s11098-025-02347-3 §
  • Narayanan, A., & Kapoor, S. (2025, April 15). AI as normal technology: An alternative to the vision of AI as a potential superintelligence. Knight First Amendment Institute at Columbia University. https://knightcolumbia.org/content/ai-as-normal-technology §
  • Omohundro, S. M. (2008). The basic AI drives. In P. Wang, B. Goertzel, & S. Franklin (Eds.), Artificial general intelligence 2008: Proceedings of the First AGI Conference (pp. 483–492). IOS Press. §
  • osmarks. (n.d.). P(Doom) song objectively correct interpretation. GTech™ Documentation. Retrieved September 30, 2026, from https://docs.osmarks.net/hypha/p(doom)_song_objectively_correct_interpretation §
  • Pressman, J. D. (2023, October 15). Hermes lecture #3: Why do cognitive scientists hate LLMs? minihf.com. https://minihf.com/posts/2023-10-16-hermes-lecture-3-why-do-cognitive-scientists-hate-llms/ §
  • Santelli, M. (2026, August 25). El futuro de la IA: Entre doomers y hyperos. 421.news. https://www.421.news/es/ia-doomers-hyperos/ §
  • Yudkowsky, E., & Soares, N. (2025). If anyone builds it, everyone dies: Why superhuman AI would kill us all. Little, Brown and Company. §