En el aprendizaje automático clásico, aprender significa cambiar parámetros. El aprendizaje en contexto es la excepción que popularizó GPT-3: se le muestran al modelo, dentro del prompt, unas pocas demostraciones de una tarea (o solo una descripción) y el modelo completa el caso siguiente, sin ninguna actualización de pesos (Brown et al., 2020, sec. 2). Según la cantidad de ejemplos se habla de zero-shot, one-shot o few-shot (Alammar y Grootendorst, 2024, pp. 180–181).
alto → bajo · caliente → frío · lleno → ? (el modelo completa: vacío)
Brown et al. (2020) lo describen como el «bucle interno» de un metaaprendizaje: durante el preentrenamiento el modelo adquiere habilidades y patrones, y en el momento de uso los aprovecha para reconocer o adaptarse a la tarea. Aclaran, con prudencia, que la etiqueta no decide si el modelo aprende tareas nuevas desde cero o reconoce patrones ya vistos en el entrenamiento (2020, sec. 1). Buckner (2024) se inclina a tomarlo en serio: el desempeño de GPT-3 con algunos ejemplos era mucho mejor que con uno o ninguno, lo que sugiere que algo se aprende en el momento (2024, pp. 277–278).
¿Cómo es posible? La interpretabilidad mecanicista propuso
un mecanismo parcial, descrito por investigadores de Anthropic (Elhage et al., 2021): las
cabezas de inducción, cabezas de atención que
implementan una regla del tipo [a][b] … [a] → [b], es decir, «si ya vi que después de A viene
B, cuando vuelva A predigo B», a veces con una versión más abstracta en la que lo copiado es
solo similar. Buckner (2024) subraya el parecido con la idea empirista, de Locke y Hume, de que
la abstracción puede surgir de copiar con algo de similitud (2024, pp. 281–282).
La pregunta filosófica es qué cuenta como aprender. Si el conocimiento no cambia pero la
conducta sí, ¿hubo aprendizaje o solo interpretación de una consigna? Y si un humano aprende
una regla viendo tres ejemplos, ¿hace algo muy distinto?