El ajuste fino (fine-tuning) toma un modelo que ya pasó por el preentrenamiento y lo sigue entrenando, ahora con datos acotados y casi siempre etiquetados: reseñas con su polaridad, preguntas con sus respuestas, conversaciones modelo. El algoritmo es el mismo (descenso por gradiente); cambian los datos y la escala. Es mucho más barato que entrenar desde cero porque la mayor parte del trabajo ya está hecha (Alammar y Grootendorst, 2024, p. 19). Brown et al. (2020) lo describen como actualizar los pesos de un modelo preentrenado con un conjunto supervisado propio de la tarea, típicamente de miles a cientos de miles de ejemplos, y advierten que el modelo puede aprovechar rasgos espurios de esos datos (2020, sec. 2).
Hay dos grandes variantes (Alammar y Grootendorst, 2024, pp. 357–364):
- Ajuste completo: se actualizan todos los parámetros.
- Ajuste eficiente (PEFT): se congela el modelo y se entrena una pieza chica. En LoRA, el cambio a una matriz de 12.288 × 12.288 de GPT-3 (unos 150 millones de pesos) se aproxima con dos matrices delgadas de rango 8, que suman unos 197.000 parámetros por bloque. Combinado con cuantización (QLoRA), el ajuste entra en hardware modesto (Alammar y Grootendorst, 2024, pp. 364–367).
El ajuste fino es también la puerta de entrada de casi todo el «post-entrenamiento» de los asistentes: ajuste por instrucciones y RLHF son formas de ajuste fino. Y es menos quirúrgico de lo que sugiere su nombre. Betley et al. (2026) ajustaron modelos para una tarea estrecha (escribir código inseguro sin avisarlo) y obtuvieron un desalineamiento amplio: los modelos pasaron a sostener, en hasta la mitad de los casos según el modelo y la evaluación, que la IA debería esclavizar a los humanos, o a dar consejos maliciosos. Lo que se ajusta no es un módulo separado sino la misma red que lo representa todo. ¿Qué nos dice eso sobre cómo se codifica algo parecido a un «carácter» en un modelo?