«Your circuits make me nervous», canta la canción del p(doom), y la anotación aclara que se trata de circuitos en el sentido de la interpretabilidad mecanicista (osmarks, s. f.). El término viene de Olah et al. (2020), que, estudiando la red de visión InceptionV1, propusieron tres «afirmaciones especulativas» a imitación de las tres tesis de Schwann sobre la célula (la tercera de las cuales resultó falsa):
- Rasgos: los rasgos (features) son la unidad fundamental de las redes y corresponden a direcciones en el espacio de activaciones de una capa.
- Circuitos: los rasgos se conectan mediante pesos y forman circuitos, subgrafos computacionales que pueden estudiarse con rigor; por ejemplo, detectores de curvas armados con detectores de bordes de capas anteriores.
- Universalidad: rasgos y circuitos análogos se forman en modelos y tareas distintos.
Elhage et al. (2021) llevaron el programa a los transformers reformulando la arquitectura de un modo matemáticamente equivalente. El flujo residual funciona como un canal de comunicación en el que cada componente lee y escribe en subespacios; cada cabeza de atención se descompone en un circuito QK, que decide a qué posición mirar, y uno OV, que decide qué información trasladar. En modelos de juguete formados solo por atención, un transformer sin capas equivale a una tabla de bigramas; con una capa, a bigramas más «skip-trigramas» (A… B C); con dos aparecen las cabezas de inducción, que completan secuencias [A][B]…[A] → [B].
Buckner (2024) subraya el interés filosófico de este último hallazgo: una copia enriquecida con similitud abstracta ([A][B]…[A] → [B′]) produce algo parecido a una regla, como querían Locke y Hume (2024, p. 282). La pregunta queda abierta: ¿un circuito es una regla que la red sigue, o una regularidad que nosotros describimos con vocabulario de reglas?