ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Uso: prompts, muestreo, sistemas

MT155

Jailbreak

También: fuga, prompt adversarial

En inglés: Jailbreak

Prompt diseñado para que un modelo alineado haga lo que su entrenamiento de seguridad debía impedir, por ejemplo mediante juegos de rol, trampas lógicas o sufijos adversariales.

El nombre viene de «liberar» un teléfono de las restricciones del fabricante. En los modelos de lenguaje, las restricciones son las que instalan el RLHF y el prompt de sistema: negarse a dar instrucciones peligrosas, no revelar las propias reglas. Un jailbreak es un texto que logra saltearlas. Las primeras versiones eran artesanales: pedirle al modelo que interprete a un personaje «sin reglas», envolver el pedido en una ficción, fragmentarlo en pasos inocentes.

Zou et al. (2023) mostraron que el proceso puede automatizarse. Con una búsqueda que combina gradientes y elecciones voraces sobre modelos abiertos, encontraron sufijos de apariencia absurda que, agregados a un pedido prohibido, maximizan la probabilidad de que el modelo empiece a responder afirmativamente. Lo inquietante fue la transferencia: sufijos optimizados sobre modelos chicos funcionaron también contra las interfaces públicas de ChatGPT, Bard y Claude. Es un pariente textual de los ejemplos adversariales en visión (entrenamiento adversarial).

¿Por qué funcionan? Millière (2025) propone una explicación filosófica: el alineamiento actual instala disposiciones conductuales superficiales (ser útil, ser honesto, no dañar) sin una capacidad genuina de deliberar cuando esas normas entran en conflicto. Los jailbreaks explotan justamente esos conflictos, por ejemplo, presentando un pedido dañino como un caso en el que negarse sería poco útil o deshonesto. Los humanos resisten mejor esas trampas porque pueden razonar sobre las normas mismas.

Una variante, la inyección indirecta de prompts, esconde instrucciones en datos que el modelo va a leer, como una página web consultada por un agente (Greshake et al., 2023). Un lógico reconocerá el problema: el sistema no distingue bien entre usar un texto como instrucción y mencionarlo como dato. Todo lo que entra en la ventana de contexto está en el mismo plano, y por eso ninguna comilla es del todo segura. Ver Sydney.

Fuentes

  • Greshake, K., Abdelnabi, S., Mishra, S., Endres, C., Holz, T., & Fritz, M. (2023). Not what you've signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. In Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security (AISec '23) (pp. 79–90). Association for Computing Machinery. https://doi.org/10.1145/3605764.3623985 §
  • Millière, R. (2025). Normative conflicts and shallow AI alignment. Philosophical Studies, 182(7), 2035–2078. https://doi.org/10.1007/s11098-025-02347-3 §
  • Zou, A., Wang, Z., Carlini, N., Nasr, M., Kolter, J. Z., & Fredrikson, M. (2023). Universal and transferable adversarial attacks on aligned language models (arXiv:2307.15043). arXiv. https://doi.org/10.48550/arXiv.2307.15043 §