La forma más simple de aprender es memorizar: guardar los ejemplos y, ante un caso nuevo, buscar el más parecido (Witten et al., 2017, p. 84); es lo que hace k vecinos más cercanos. Las redes profundas no guardan ejemplos sino pesos, pero tienen capacidad de sobra: entrenadas el tiempo suficiente, terminan memorizando sus datos, y la generalización aparece en un punto intermedio del entrenamiento (Chollet, 2021, sec. 5.1.2) (ver sobreajuste).
En los modelos de lenguaje, la memorización se volvió medible. Carlini et al. (2021) extrajeron de GPT-2 cientos de secuencias textuales de su entrenamiento, con nombres, teléfonos y direcciones de correo, aunque cada una apareciera en un solo documento; los modelos más grandes eran más vulnerables. Carlini et al. (2023) mostraron después que la memorización crece de manera log-lineal con el tamaño del modelo, con las veces que un texto está duplicado y con la longitud del contexto que se le da. Nasr et al. (2025) lograron que ChatGPT, con una instrucción que lo hacía «divergir», emitiera datos de entrenamiento a un ritmo 150 veces mayor que el normal.
Pero memorizar no es solo un vicio. Feldman (2020) argumentó que, cuando la distribución tiene una cola larga de casos raros, memorizarlos es necesario para generalizar bien. Y el grokking muestra las dos cosas en secuencia: primero la red memoriza, después forma un circuito general y al final limpia los restos de la memorización (Millière y Buckner, 2024b, sec. 2.5.2).
Entre esos polos, Ted Chiang propuso una imagen influyente: un LLM es «un JPEG borroso de la web», una compresión con pérdida que no guarda el texto literalmente pero puede reconstruir algo parecido (Chiang, 2023). La imagen explica a la vez lo que se conserva y lo que se inventa al interpolar (la alucinación), aunque comprimir bien exige capturar regularidades, que es justamente parte de lo que llamamos generalizar.
La filosofía conoce el caso extremo: Blockhead, la tabla que respondería bien sin pensar. Millière y Buckner (2024b) toman la memorización pura como hipótesis nula y concluyen que no alcanza para explicar todas las conductas de los LLMs, aunque cualquier conducta particular podría ser recuperación aproximada (2024b, sec. 4.2); de ahí también la contaminación de datos. Pero saber que París es la capital de Francia también es haberlo memorizado. ¿La diferencia relevante está entre memorizar y generalizar, o entre recuperar por búsqueda y reconstruir por regla?