Si un texto dice «…el gato duerme en la alfombra. El gato…», una cabeza de inducción detecta que «gato» ya apareció, mira qué vino después («duerme») y sube la probabilidad de repetirlo (Millière y Buckner, 2024b, sec. 2.5.1). Es uno de los resultados más citados de la interpretabilidad mecanicista, y uno de los pocos circuitos entendidos de punta a punta.
El mecanismo necesita dos capas (Elhage et al., 2021). En la primera, una cabeza del token previo escribe en el flujo residual, en la posición de [B], la información «el token anterior a mí es [A]». En la segunda, la cabeza de inducción usa el token actual como consulta (consultas, claves y valores), encuentra la posición cuyo «token anterior» coincide, atiende a [B] y lo copia hacia la predicción. No depende de estadísticas aprendidas sobre qué palabra sigue a cuál: funciona incluso con secuencias de tokens al azar.
Olsson et al. (2022) aportaron seis líneas de evidencia de que estas cabezas explicarían buena parte del aprendizaje en contexto. Aparecen en el mismo momento del entrenamiento en que esa capacidad da un salto brusco, visible como un escalón en la curva de pérdida. La evidencia es causal en modelos pequeños sin capas feedforward, y solo correlacional en los grandes.
La discusión filosófica es qué clase de cosa se encontró. Millière y Buckner (2024b) ven un cómputo no específico de contenido: la cabeza del token previo guarda [A] en un subespacio que funciona como una variable de un programa clásico, y la cabeza de inducción la lee después, algo parecido a la ligadura de variables de los sistemas simbólicos (2024b, sec. 2.5.1). Buckner (2024) subraya otra cosa: la copia puede ser aproximada, [A][B]…[A] → [B′], y la copia enriquecida con similitud abstracta produce algo parecido a una regla, como querían Locke y Hume (2024, pp. 281–282). ¿Es una victoria del simbolismo, que encuentra variables dentro de la red, o del empirismo, que ve reglas nacer de la copia?