El sistema no se entrena en una tarea sino en muchas, organizadas en episodios, y lo que mejora es su capacidad de dominar una tarea nueva con pocos ejemplos. Hay dos bucles: uno interno, que aprende cada tarea, y uno externo, que ajusta el sistema para que el interno funcione en toda la familia. En psicología, Harlow (1949) llamó learning sets a lo que adquirían monos que, tras cientos de problemas de discriminación, resolvían los nuevos casi al primer intento. En aprendizaje automático, MAML (Finn et al., 2017) busca parámetros iniciales desde los que bastan pocos pasos de descenso por gradiente: entrena al modelo para ser fácil de ajustar.
GPT-3 le dio al término un giro inesperado: el preentrenamiento es el bucle externo y el aprendizaje en contexto el interno, que ocurre en las activaciones, sin tocar los pesos (Brown et al., 2020, secs. 1, 7). Nadie diseñó los episodios: el corpus trae subtareas repetidas dentro de un mismo texto.
Lake y Baroni (2023) lo hicieron explícito (MLC). Cada episodio es un pseudolenguaje con palabras inventadas (dax, wif, blicket) y una gramática generada al azar que las traduce en círculos de colores; un Transformer ve unos ejemplos de estudio e interpreta una instrucción nueva, con los pesos congelados en la prueba. Produjo salidas sistemáticas en una proporción (82,4 %) cercana a la humana (80,7 %) (2023, p. 117) (ver sistematicidad). El límite, según los autores: se generaliza a episodios nuevos de la misma distribución que los de entrenamiento, no a otros (2023, p. 119).
El debate entre empirismo e innatismo sube así un piso. Quien metaentrena no programa sesgos inductivos: define la familia de problemas y deja que la optimización descubra los sesgos útiles (Russin et al., 2025, sec. 3.2). Para Chollet (2019), los priors de metaaprendizaje no son un factor a controlar al medir la inteligencia: son la inteligencia (2019, sec. II.1.3). Pero si se aprenden de una distribución de tareas, ¿quién la eligió? ¿Es eso innato, aprendido o diseño encubierto?