La IA constitucional, propuesta por Bai et al. (2022) en Anthropic, busca volver inofensivo a un modelo sin etiquetas humanas sobre qué es dañino. La supervisión humana queda reducida a una lista de principios en lenguaje natural (dieciséis en cada etapa, en el artículo original) y unos pocos ejemplos (Bai et al., 2022, secs. 1.1–1.2). El proceso tiene dos etapas:
- Supervisada: crítica → revisión. Un asistente útil pero sin filtros responde a pedidos dañinos; luego se le pide que critique su propia respuesta según un principio elegido al azar y que la reescriba. Con las respuestas revisadas se hace ajuste fino.
- Refuerzo con retroalimentación de IA (RLAIF). El modelo genera pares de respuestas y otro modelo decide cuál cumple mejor un principio. Esas preferencias artificiales entrenan un modelo de preferencias, contra el cual se optimiza como en el RLHF.
Dos precisiones. Primero, no se eliminan los humanos: las preferencias sobre utilidad siguen siendo humanas; solo las de inocuidad son de la IA (2022, sec. 1.2). Segundo, un objetivo explícito era un asistente «inofensivo pero no evasivo», que explique por qué no ayuda en lugar de negarse sin más, un defecto que los autores atribuían a que los evaluadores humanos premiaban la evasión.
Los autores justifican el nombre con una observación de filosofía política: al desplegar un sistema general no se puede evitar elegir principios que lo gobiernen, aunque queden ocultos o implícitos (2022, sec. 1). Pero hay una pregunta de filosofía del lenguaje debajo: los principios no se aplican solos, los interpreta otro modelo de lenguaje. ¿Qué garantiza que esa interpretación coincida con lo que los redactores querían decir? Es el problema de seguir una regla, ahora con una máquina de cada lado. Para Millière (2025), este tipo de alineamiento sigue siendo superficial: entrena disposiciones, no la capacidad de resolver conflictos entre normas.