El aprendizaje por transferencia parte de una idea simple: lo aprendido en un problema sirve para otro. En su forma más elemental se reutilizan las representaciones intermedias de un modelo ya entrenado como punto de partida de uno nuevo (lo que Keras llama feature extraction) (Chollet, 2021, sec. 7.2.2). Las primeras capas de una red de visión detectan bordes y texturas que sirven para casi cualquier imagen; las primeras capas de un modelo de lenguaje, regularidades del idioma que sirven para casi cualquier texto.
Entre 2018 y 2020 esta idea reorganizó el procesamiento del lenguaje: se hace un preentrenamiento costoso una vez y después muchos ajustes finos baratos, uno por tarea (Alammar y Grootendorst, 2024, p. 19). BERT, GPT-1 y T5 siguen esa receta; el artículo de T5 lleva la palabra en el título y compara sistemáticamente sus variantes (Raffel et al., 2020). Kaplan et al. (2020) observaron además que, al evaluar un modelo en textos de otra distribución, el rendimiento empeora en una cantidad más o menos constante pero mejora al mismo ritmo que en la distribución de entrenamiento (2020, sec. 1.1). Con GPT-3 la transferencia se muda al prompt: el modelo se adapta a tareas nuevas sin cambiar sus pesos, por aprendizaje en contexto (Brown et al., 2020, sec. 2).
Filosóficamente, la transferencia es la cara cotidiana de la generalización y, por lo tanto, de la inducción. Chollet (2019) distingue una generalización local (casos nuevos de una distribución conocida), una amplia (tareas nuevas dentro de una categoría) y una extrema (tareas que solo comparten con lo conocido rasgos abstractos) (-@chollet2019, sec. I.3.2). ¿En qué peldaño cae pasar de «predecir la palabra siguiente» a clasificar reseñas o traducir? La respuesta depende de cuánto de la tarea nueva ya estaba, implícitamente, en el corpus.