En interpretabilidad, un rasgo es una propiedad de la entrada que la red representa internamente («esto es código Python», «esto habla del puente Golden Gate»); la hipótesis de la representación lineal propone que cada rasgo corresponde a una dirección en el espacio de activaciones (Millière y Buckner, 2024b, sec. 2.5.3). (No confundir con el sentido clásico de atributo de entrada.) Sería cómodo que cada neurona correspondiera a un rasgo, pero muchas son polisemánticas: ya Olah et al. (2020) vieron una red de visión que repartía un detector de autos entre neuronas dedicadas sobre todo a perros.
Elhage et al. (2022) ofrecieron una explicación con modelos de juguete. Cuando los rasgos son ralos (rara vez aparecen juntos), a la red le conviene guardar más rasgos que dimensiones, superpuestos en direcciones casi ortogonales, y tolerar algo de interferencia: en un espacio de alta dimensión caben muchas más direcciones casi perpendiculares que ejes. La idea emparenta con el compressed sensing de la matemática y con la vieja tesis conexionista de que las representaciones están distribuidas, no alojadas en una «neurona de la abuela» (Millière y Buckner, 2024b, sec. 2.4).
Si hay superposición, el análisis neurona por neurona no alcanza y hay que desenredar los rasgos. La herramienta actual es el autoencoder ralo, una red auxiliar que reescribe cada activación como combinación de unos pocos rasgos de un diccionario enorme. Templeton et al. (2024) entrenaron diccionarios de ≈1, 4 y 34 millones de rasgos sobre una capa intermedia de Claude 3 Sonnet y hallaron rasgos multilingües y multimodales, desde el Golden Gate hasta el engaño o la adulación. Fijar uno de ellos en un valor alto cambia la conducta del modelo: es la base del direccionamiento.
Para la filosofía, la superposición desplaza la pregunta por el vehículo de la representación: no es la neurona sino la dirección, y cuántas direcciones «hay» depende en parte del diccionario que elegimos para buscarlas. ¿Descubrimos los conceptos del modelo o se los imponemos?