El objetivo, según sus impulsores, es hacer con una red lo que un programador hace con un binario compilado: reconstruir un código fuente legible (Elhage et al., 2021). En lugar de preguntar qué parte de la entrada pesó en una predicción, se pregunta qué computación implementan los componentes internos (cabezas de atención, neuronas, direcciones del flujo residual) y cómo se encadenan en circuitos.
Millière y Buckner (2024b) enmarcan el programa en la filosofía de la ciencia (2024b, secs. 2.2, 2.5). Una explicación mecanicista identifica las partes, las actividades y la organización que producen un fenómeno; el intervencionismo de Woodward da el criterio causal: X causa Y si intervenir sobre X cambia Y con todo lo demás fijo. Como la neurociencia de sistemas, la interpretabilidad mecanicista apunta al nivel algorítmico de Marr (1982) (ver niveles de análisis).
La herramienta típica es el parcheo de activaciones: se corre el modelo con «La capital de Francia es…» y se guardan sus activaciones; se lo corre con «La capital de Alemania es…» y se reemplaza la activación de un solo componente por la del primer caso. Si la respuesta vuelve a ser «París», ese componente transporta información causalmente relevante (Millière y Buckner, 2024b, sec. 2.5).
Resultados emblemáticos: las cabezas de inducción, que completan patrones del tipo [A][B]…[A] → [B] y explicarían parte del aprendizaje en contexto (Elhage et al., 2021; Buckner, 2024, pp. 281–282); el algoritmo con que una red pequeña aprende suma modular, ligado al grokking; y las representaciones del tablero en Othello-GPT, que sugieren un modelo del mundo (Millière y Buckner, 2024b, secs. 2.5.2–2.5.3). Los límites: casi todo se hizo con modelos de juguete, los más grandes suelen ser cerrados, y la superposición impide leer la red neurona por neurona.
Los hallazgos alimentan viejas disputas. Para Buckner (2024), que la copia más una similitud abstracta produzca algo parecido a reglas favorece al empirismo (2024, p. 282); Millière y Buckner notan a la vez que el mecanismo se parece a la ligadura de variables de los sistemas clásicos (Millière y Buckner, 2024b, sec. 2.5.1). La discusión entre conexionismo y IA simbólica reaparece, así, dentro de la red.