En el aprendizaje por refuerzo el agente descubre qué hacer probando y recibiendo recompensas; en el aprendizaje por imitación, alguien le muestra cómo se hace. Su forma más simple, la clonación de conducta, es aprendizaje supervisado: cada situación es un ejemplo y la acción del experto, su etiqueta.
El problema clásico. Las acciones del aprendiz cambian las situaciones que encuentra después, lo que viola el supuesto i.i.d.. Si se equivoca con probabilidad ε en las situaciones que visitó el experto, puede cometer del orden de T²ε errores en T pasos: tras el primer error entra en estados que el experto nunca vio, y los errores se encadenan (Ross et al., 2011, p. 627). DAgger lo corrige dejando actuar al aprendiz, pidiéndole al experto que etiquete los estados a los que llegó y reentrenando con todos los datos acumulados (2011, p. 629).
Dónde aparece. La red de política de AlphaGo aprendió primero a predecir las jugadas de expertos del servidor KGS (Silver et al., 2016, pp. 485–486). AlphaStar empezó imitando 971.000 repeticiones humanas y conservó esa política como ancla: durante el refuerzo, una penalización de divergencia KL lo mantenía cerca de ella para que siguiera explorando estrategias humanas (Vinyals et al., 2019, Methods: Supervised Learning, Exploration and diversity). El primer paso de InstructGPT, antecesor de ChatGPT (InstructGPT), fue el mismo: ajuste fino supervisado sobre demostraciones escritas por anotadores para unos 13.000 prompts; y en la etapa de refuerzo, también una penalización KL respecto de ese modelo (Ouyang et al., 2022, secs. 3.2, 3.5).
Para pensar. El aprendiz copia la conducta, no las razones, y por eso tarde o temprano necesita otra señal: una recompensa o un experto que corrija. Pero Buckner (2024) recuerda que, para los empiristas, buena parte del saber humano de alto nivel proviene de la interacción social, «especially through imitation and cultural instruction» [sobre todo mediante la imitación y la instrucción cultural] (2024, p. 338). ¿Imitar es un atajo hacia la competencia o la manera en que empieza toda cultura?