El ajuste completo actualiza todos los parámetros: es caro y deja una copia entera del modelo por tarea. El ajuste fino eficiente (PEFT) congela el modelo y entrena un agregado pequeño. Los primeros fueron los adaptadores (Houlsby et al., 2019), módulos insertos en cada bloque: con el 3,6 % de los parámetros de BERT quedaban a 0,4 % del rendimiento del ajuste completo (Alammar y Grootendorst, 2024, p. 359).
LoRA (Hu et al., 2022) no agrega capas: aprende la corrección de cada matriz de pesos W₀, restringida a ser el producto de dos matrices delgadas, ΔW = BA, con B de d × r, A de r × k y un rango r mucho menor que d. La capa calcula h = W₀x + BAx. Como B arranca en cero, el entrenamiento parte exactamente del modelo original. En una matriz de GPT-3 de 12.288 × 12.288 (≈ 151 millones de pesos), r = 8 deja unos 197.000 (Alammar y Grootendorst, 2024, pp. 362–364). Al terminar, BA se suma a W₀ y la inferencia no se encarece.
Se obtiene un modelo base y muchos módulos intercambiables, uno por tarea (2024, pp. 360–361). QLoRA añade cuantización a 4 bits del modelo congelado (2024, pp. 364–367); así, Dettmers et al. (2023) ajustaron un modelo de 65.000 millones de parámetros en una sola GPU de 48 GB.
Por qué funciona. La hipótesis es que la adaptación tiene baja dimensión intrínseca: los cambios necesarios viven en un subespacio pequeño (Alammar y Grootendorst, 2024, p. 364). En GPT-3, Hu y colegas encontraron tareas para las que bastaba r = 1, y que ΔW amplifica direcciones que ya estaban en W pero poco enfatizadas. Si ajustar es sobre todo amplificar lo que el preentrenamiento dejó, ¿el modelo aprende algo nuevo o elige entre lo que ya sabía? Los autores advierten que un rango bajo quizá no alcance si la tarea está en una lengua distinta de la del preentrenamiento.