El truco es fabricar un problema supervisado sin supervisor. Se toma un dato, se oculta o altera una parte y se entrena al modelo para reconstruirla: la respuesta correcta ya estaba en el dato. Chollet (2021) lo define como el caso en que los objetivos se obtienen de las propias entradas (2021, sec. 7.4). Ejemplos:
- Predicción del siguiente token: dado «El gato se sentó sobre la», predecir «alfombra». Es la tarea de preentrenamiento de GPT-1 y sus sucesores; Alammar y Grootendorst (2024) la presentan como un método autosupervisado, sin etiquetas (2024, p. 355).
- Modelado enmascarado: tapar palabras en medio de la oración y reconstruirlas, como hace BERT (Devlin et al., 2019, p. 4174).
- Aprendizaje contrastivo: aprender qué pares van juntos, por ejemplo una imagen y su pie de foto en CLIP.
La importancia práctica es enorme. Como no requiere anotación humana, permite aprovechar texto a escala web: un corpus de billones de tokens (Llama 2 se entrenó con 2 billones (Alammar y Grootendorst, 2024, p. 26)) se convierte en billones de ejercicios ya corregidos. Esa es la base del preentrenamiento de los grandes modelos de lenguaje, y la razón de que la anotación humana haya quedado para etapas posteriores y más pequeñas, como el ajuste fino o el RLHF.
Para el filósofo, la palabra «supervisado» merece sospecha. Nadie juzga aquí si la predicción era correcta en algún sentido normativo: la única vara es qué palabra apareció de hecho en el texto. El corpus hace de maestro, pero de un maestro que solo sabe lo que se dijo, no lo que debía decirse. Si eso alcanza para adquirir algo como el significado es una de las preguntas de fondo sobre los modelos de lenguaje (ver forma y significado).