En un transformer común, todos los parámetros trabajan con cada token. En una mezcla de expertos, el bloque bloque feedforward se reemplaza por n bloques paralelos (los expertos) y una pequeña red de compuerta, el enrutador, que puntúa a los expertos para cada token y elige los k mejores. La salida es la suma de esos pocos expertos, ponderada por el enrutador (Jiang et al., 2024, sec. 2.1):
y = Σᵢ G(x)ᵢ · Eᵢ(x), G(x) = softmax(TopK(x · W_g))
Los expertos no elegidos no se calculan: es activación dispersa.
Por qué. Desacopla el tamaño del modelo del costo de usarlo. Shazeer et al. (2017) insertaron entre capas recurrentes una capa con miles de expertos y hasta 137.000 millones de parámetros, multiplicando la capacidad con pérdidas mínimas de eficiencia. En Mixtral 8x7B (Mezcla de expertos (Mixtral)), cada capa tiene 8 expertos y el enrutador elige 2 por token: 47.000 millones de parámetros en total, 13.000 millones activos (Jiang et al., 2024). La idea es mucho más vieja que los transformers (Jacobs et al., 1991) y hoy aparece en modelos abiertos de gran escala, como DeepSeek-V3: 671.000 millones de parámetros, 37.000 millones activos por token (DeepSeek-AI, 2024).
Costos. Todos los expertos deben estar en memoria aunque cada token use pocos, y hay que evitar que el enrutador mande todo a los mismos expertos.
Un nombre engañoso. «Experto» sugiere especialistas en temas: uno de biología, otro de filosofía. Los autores de Mixtral lo pusieron a prueba y no hallaron un reparto por temas: los expertos elegidos para artículos de ArXiv, de biología y de filosofía se distribuían de manera muy parecida. Lo que sí encontraron fue regularidad sintáctica: en código Python, la palabra self o los tokens de sangría tienden a ir siempre al mismo experto (Jiang et al., 2024, sec. 5). Es un buen recordatorio para quien piense en la modularidad de la mente al estilo de Fodor: que una arquitectura tenga módulos no implica que estos se repartan el trabajo como lo haría un organigrama humano.