El verbo to grok viene de la novela Stranger in a Strange Land (1961) de Robert Heinlein, donde es una palabra marciana para una comprensión tan profunda que el observador se funde con lo observado. En aprendizaje automático, Power et al. (2022) lo usaron para algo más modesto y más raro. Entrenaron un transformer chico en tablas de operaciones como la división módulo 97, mostrándole la mitad de las ecuaciones posibles. El modelo aprendió de memoria el conjunto de entrenamiento en menos de mil pasos, con sobreajuste total y desempeño de azar en los datos de validación. Pero siguieron entrenando, y mucho después (del orden de mil veces más pasos) la exactitud de validación empezó a subir hasta volverse perfecta (2022, sec. 3.1). La weight decay, una regularización que achica los pesos, resultó ser lo que más lo favorecía.
La interpretabilidad mecanicista abrió la caja. En sumas modulares, Nanda y colegas encontraron que la red termina representando los números como rotaciones en un círculo y sumándolas con identidades trigonométricas. Distinguieron tres fases: memorización, formación de un circuito general mientras la memorización sigue presente, y una «limpieza» en la que la regularización elimina los componentes memorizados. El salto final es brusco, pero el proceso de fondo es gradual (Millière y Buckner, 2024b, sec. 2.5).
El caso es filosóficamente jugoso por dos razones. Primero, contradice la idea de que una red que memorizó ya no aprende nada: memorizar y generalizar pueden convivir y competir dentro del mismo sistema. Segundo, Millière y Buckner (2024b) lo leen como evidencia contra la imagen de los modelos como tablas gigantes de pares entrada-salida, pariente del Blockhead de Block: el transformer termina implementando un algoritmo. La canción de p(doom) lo evoca con «There was a sudden drop in your training loss» (osmarks, s. f.), aunque en el grokking lo que cae de golpe es la pérdida de validación: la de entrenamiento ya estaba en el piso.