Si una red guarda más conceptos que neuronas tiene, usando direcciones casi ortogonales (superposición), mirar neurona por neurona no sirve: cada una responde a varias cosas. Hace falta otra base, más grande que la original, en la que cada activación use pocos elementos. Es el viejo problema del aprendizaje de diccionario; Olshausen y Field (1996) ya habían mostrado que un código disperso aprendido de imágenes naturales produce filtros parecidos a los de las células simples de la corteza visual.
Un autocodificador disperso es un autocodificador al revés de lo habitual: su capa oculta es mucho más ancha que la entrada. El codificador proyecta la activación (por ejemplo, un vector del flujo residual) a miles o millones de unidades con una ReLU; el decodificador la reconstruye como suma lineal de «direcciones de rasgo». La pérdida combina el error de reconstrucción con una penalización L1 que obliga a que casi todas las unidades valgan cero (Templeton et al., 2024). Cada unidad que sobrevive es un candidato a rasgo interpretable.
Templeton et al. (2024) entrenaron diccionarios de ≈1, 4 y 34 millones de rasgos sobre Claude 3 Sonnet: en promedio, menos de 300 activos por token, y una reconstrucción que explicaba al menos el 65 % de la varianza. Encontraron rasgos multilingües y multimodales, del puente Golden Gate a la adulación, y fijarlos cambia la conducta (ver direccionamiento). Los límites también son claros: la varianza no explicada, la proporción de rasgos «muertos» (hasta 65 % en el diccionario más grande) y la dependencia del tamaño elegido, porque diccionarios más grandes parten un rasgo en variantes más finas.
Los propios autores advierten que no hay que leer demasiado en la mera existencia de un rasgo: no es lo mismo saber sobre mentiras, ser capaz de mentir y mentir de hecho (Templeton et al., 2024). Un rasgo es una dirección que se activa ante ciertos contenidos, no una creencia ni una disposición. ¿Qué más haría falta para que la dirección cuente como un concepto que el modelo tiene?