Una mezcla de expertos es una manera de agrandar una red sin agrandar el cálculo: en lugar de una sola red feedforward por capa hay varias («expertos»), y una pequeña red enrutadora decide cuáles procesan cada token. Mixtral 8x7B, de Mistral AI (pesos publicados en diciembre de 2023, artículo en enero de 2024), es el ejemplar que popularizó la técnica entre los modelos de pesos abiertos: cada capa tiene 8 expertos y el enrutador elige 2 por token, de modo que el modelo tiene 47.000 millones de parámetros pero usa unos 13.000 millones por token (Jiang et al., 2024).
Cómo funciona
La capa de expertos reemplaza al bloque feedforward de cada bloque transformer. Para el vector x de un token, el enrutador calcula puntajes x·W_g, se queda con los dos más altos, les aplica un softmax, y la salida es la suma ponderada de los dos expertos elegidos: y = Σᵢ softmax(Top2(x·W_g))ᵢ · SwiGLUᵢ(x) (Jiang et al., 2024, sec. 2.1). El resto es la arquitectura de Mistral 7B: 32 capas, vectores de 4.096 dimensiones y atención con consultas agrupadas (GQA), en la que varias cabezas comparten claves y valores (Jiang et al., 2024, sec. 2; Alammar y Grootendorst, 2024, pp. 98–100). Como la atención y los embeddings no se multiplican, «8x7B» no suma 56.000 millones.
La distinción clave es entre parámetros totales, que crecen con el número de expertos, y activos, que crecen con cuántos se eligen por token (Jiang et al., 2024, sec. 2.1). La memoria tiene que alojar los 47.000 millones (unos 93 GB en bf16), pero el cómputo por token es el de un modelo de 13.000 millones.
De dónde viene
La idea es vieja: Jacobs et al. (1991) propusieron las «mezclas adaptativas de expertos locales». Shazeer et al. (2017) la convirtieron en una capa dispersa para redes profundas: miles de expertos entre capas LSTM, hasta 137.000 millones de parámetros, y una red de compuertas que elige unos pocos por ejemplo, lo que llamaron cómputo condicional. Ya entonces notaron el problema central: la red de compuertas tiende a favorecer siempre a los mismos expertos, que por eso se entrenan más rápido y son todavía más elegidos; lo corrigieron con una pérdida adicional que premia el equilibrio (Shazeer et al., 2017, sec. 4).
Frente a GPT-3, denso (usa sus 175.000 millones de parámetros para cada token), Mixtral iguala o supera a Llama 2 70B y a GPT-3.5 en la mayoría de los benchmarks, con ventajas claras en matemática, código y en francés, alemán, español e italiano (Jiang et al., 2024, secs. 3–3.1). Su versión Instruct se ajustó con SFT y DPO. Desde entonces, la mezcla dispersa se volvió habitual en la frontera: DeepSeek-V3, base de R1, tiene 671.000 millones de parámetros totales y 37.000 millones activos por token.
Límites
Hay que tener todo en memoria, y repartir expertos entre varias GPU obliga a mover tokens de una a otra y a vigilar que ninguna se sobrecargue (Jiang et al., 2024, sec. 2.1). El nombre, además, engaña: el análisis de enrutamiento de Mixtral no encontró expertos temáticos (ver la nota del profesor). Mistral no publicó el tamaño ni la composición de los datos ni el cómputo de entrenamiento: las estadísticas base de datos y cómputo de esta entrada son estimaciones, no cifras publicadas.