Técnica de intervención que reemplaza la activación de un componente durante una ejecución por la que tuvo en otra, para medir si ese componente es causalmente responsable de una conducta.
La receta tiene tres pasos (Millière y Buckner, 2024b, sec. 2.5). Se corre el modelo con «La capital
de Francia es…» y se guardan sus activaciones; se lo corre con «La capital de Alemania es…»,
que da «Berlín»; y se lo vuelve a correr con Alemania, pero reemplazando la activación de un
solo componente (una cabeza de atención, una capa feedforward, una posición
del flujo residual) por la guardada. Si la probabilidad de «París» se
recupera, medida por ejemplo con la diferencia de logits entre las dos respuestas, ese
componente transporta información causalmente relevante. Repetido sobre todos los
componentes, el método dibuja un mapa de circuitos.
La misma idea circula con varios nombres: análisis de mediación causal (Vig et al., 2020), rastreo causal (Meng et al., 2022), intervención de
intercambio (Geiger et al., 2021). Meng y su equipo la usaron para localizar
asociaciones fácticas en capas feedforward intermedias y luego editarlas; Wang et al. (2023) explicaron cómo GPT-2 small identifica el objeto indirecto en frases
como «When Mary and John went to the store, John gave a drink to…» mediante 26 cabezas de atención
agrupadas en siete clases.
A diferencia del sondeo, que solo muestra que una información puede leerse, el
parcheo muestra que se usa. Su marco filosófico es el intervencionismo de Woodward: X causa
Y si intervenir sobre X cambia Y con todo lo demás fijo (Millière y Buckner, 2024b, sec. 2.4); y su
formalización, la abstracción causal, que mide qué tan bien un algoritmo de alto nivel
reproduce los efectos de las intervenciones sobre la red (2024b, sec. 2.6).
Las advertencias son técnicas y conceptuales. Las activaciones parcheadas pueden llevar a la
red a estados que nunca visitaría; algunas capas compensan la ablación de otras (el «efecto
hidra» de McGrath et al. (2023)); y Hase et al. (2023) mostraron que dónde
se localiza un hecho no predice dónde conviene editarlo. Si la causalidad está repartida y es
redundante, ¿qué significa decir que un componente «representa» algo?
Fuentes
- Geiger, A., Lu, H., Icard, T., & Potts, C. (2021). Causal abstractions of neural networks. In Advances in Neural Information Processing Systems (Vol. 34, pp. 9574–9586). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2021/hash/4f5c422f4d49a5a807eda27434231040-Abstract.html §
- Hase, P., Bansal, M., Kim, B., & Ghandeharioun, A. (2023). Does localization inform editing? Surprising differences in causality-based localization vs. knowledge editing in language models. In Advances in Neural Information Processing Systems (Vol. 36, pp. 17643–17668). Curran Associates. https://doi.org/10.52202/075280-0774 §
- McGrath, T., Rahtz, M., Kramar, J., Mikulik, V., & Legg, S. (2023). The Hydra effect: Emergent self-repair in language model computations (arXiv:2307.15771). arXiv. https://doi.org/10.48550/arXiv.2307.15771 §
- Meng, K., Bau, D., Andonian, A., & Belinkov, Y. (2022). Locating and editing factual associations in GPT. In Advances in Neural Information Processing Systems (Vol. 35, pp. 17359–17372). Curran Associates. https://doi.org/10.52202/068431-1262 §
- Millière, R., & Buckner, C. (2024b). A philosophical introduction to language models—Part II: The way forward (arXiv:2405.03207). arXiv. https://doi.org/10.48550/arXiv.2405.03207 §
- Vig, J., Gehrmann, S., Belinkov, Y., Qian, S., Nevo, D., Singer, Y., & Shieber, S. (2020). Investigating gender bias in language models using causal mediation analysis. In Advances in Neural Information Processing Systems (Vol. 33, pp. 12388–12401). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2020/hash/92650b2e92217715fe312e6fa7b90d82-Abstract.html §
- Wang, K., Variengien, A., Conmy, A., Shlegeris, B., & Steinhardt, J. (2023). Interpretability in the wild: A circuit for indirect object identification in GPT-2 small. In 11th International Conference on Learning Representations (ICLR 2023). https://openreview.net/forum?id=NpsVSN6o4ul §
