El preentrenamiento es la etapa en la que un modelo aprende «de todo un poco» antes de aprender nada en particular. A un modelo de lenguaje se le da un corpus gigantesco (páginas web, libros, código) y una sola tarea: predecir el próximo token (predicción del siguiente token) o, en modelos como BERT, reconstruir tokens tapados (modelado enmascarado). Como la respuesta correcta ya está en el texto, no hacen falta etiquetas humanas: es aprendizaje autosupervisado.
La fórmula que popularizó GPT-1 fue un «preentrenamiento generativo» sobre texto sin etiquetar, seguido de un ajuste discriminativo para cada tarea (Radford et al., 2018). Hoy esta fase se lleva la mayor parte del cómputo: Llama 2, por ejemplo, se entrenó con unos 2 billones (2 × 10¹²) de tokens (Alammar y Grootendorst, 2024, p. 26). El resultado se llama modelo base o fundacional. Sabe continuar textos, pero no sigue instrucciones: ante una pregunta puede responder con otra pregunta, como quien completa un cuestionario (Alammar y Grootendorst, 2024, pp. 355–357). Para convertirlo en asistente hacen falta etapas posteriores: ajuste fino, ajuste por instrucciones y RLHF.
Un malentendido frecuente es imaginar que el preentrenamiento «carga» los datos en el modelo, como en una base de datos. Lo que se ajusta son parámetros que comprimen regularidades del corpus; no queda un índice de documentos para consultar. Por eso Santelli (2026) dice que estos sistemas «se cultivan, no se construyen»: el diseño fija la arquitectura y el objetivo, pero lo que el modelo termina sabiendo surge del entrenamiento. Buckner (2024) ubica esta apuesta (más datos y más cómputo, pocos supuestos incorporados) en el extremo empirista del debate con el innatismo (2024, p. 25). La pregunta queda abierta: ¿cuánto de lo que parece «saber» un modelo base es conocimiento del mundo y cuánto conocimiento de cómo se escribe sobre el mundo?