Híbrido SSM (Jamba, Qwen3.5)

Un híbrido es un modelo de lenguaje que intercala dos clases de capa. La mayoría son de tiempo lineal y llevan la historia comprimida en un estado de tamaño fijo: un modelo de espacio de estados (SSM) como Mamba o una «atención lineal». Unas pocas son de atención completa, como las del Transformer. En los modelos más recientes suele sumarse una mezcla de expertos (MoE), como en Mezcla de expertos (Mixtral). El ejemplar que dio a conocer la familia es Jamba, de AI21 Labs (marzo de 2024): 52.000 millones de parámetros, 12.000 activos por token, y solo 4 de sus 32 capas son de atención (Lieber et al., 2024). Sus autores lo presentaron como el primer híbrido de atención y SSM apto para producción (Lieber et al., 2024, sec. 1); Griffin, de Google DeepMind, se había publicado un mes antes (De et al., 2024).

Por qué mezclar

Cada progenitor falla donde el otro acierta. La atención guarda claves y valores de todos los tokens anteriores en la caché KV, que crece con el contexto: con 256.000 tokens, Mixtral necesita 32 GB de caché; Jamba, 4 GB (Lieber et al., 2024, sec. 2). El estado fijo, en cambio, no puede guardarlo todo: Jelassi et al. (2024) probaron que un transformer de dos capas copia cadenas de longitud exponencial en su tamaño, mientras que todo modelo de estado fijo, sea un SSM o una atención lineal, queda limitado por el tamaño del estado. En las ablaciones de Jamba, con modelos de 1.300 millones de parámetros, el Mamba puro a menudo no respetaba el formato de los ejemplos del prompt (contestaba «Very Good» donde había que elegir entre «Positive» y «Negative»); el híbrido sí, y en sus capas de atención los autores encontraron cabezas que se comportan como cabezas de inducción, evidencia que ellos mismos llaman anecdótica (Lieber et al., 2024, sec. 6.2). Dao y Gu conjeturan una división del trabajo: las capas SSM hacen de transformación general de secuencias y la atención, de mecanismo de recuperación, que evita comprimir todo el contexto en el estado (Dao y Gu, 2024, sec. 9.2.3).

La familia

Proporciones según los informes de cada modelo (De et al., 2024; Waleffe et al., 2024; NVIDIA, 2025a; MiniMax, 2025; Qwen Team, 2025; Qwen Team, 2026; Kimi Team, 2025; NVIDIA, 2025b):

Gated DeltaNet combina dos maneras de escribir en la memoria: una compuerta que borra rápido y la regla delta, que corrige solo la entrada asociada a una clave (S. Yang et al., 2025). El buque insignia de Qwen3.5 tiene 397.000 millones de parámetros, 17.000 activos, y pesos abiertos (Qwen Team, 2026).

Lo que se discute

Cuántas. Las ablaciones, casi siempre en modelos chicos, ubican el óptimo entre el 8 y el 25 % de capas de atención, aunque no todos cuentan igual: cerca del 10 % para Dao y Gu (2024, sec. 9.2.3); cerca del 8 % para Waleffe et al. (2024), que incluyen las MLP en el total (2024, sec. 4.1); tres capas lineales por cada una de atención para Kimi Linear (Kimi Team, 2025, sec. 5.2). Jamba no encontró diferencias sustanciales entre 1 : 3 y 1 : 7 (Lieber et al., 2024, sec. 6.1).

Dónde. Repartidas de manera pareja, sin patrón mejor a la vista, y con una capa recurrente al principio, que codifica la posición y vuelve innecesaria la codificación posicional (Waleffe et al., 2024, sec. 4.1). No todos prescinden de ella: las capas de atención de Qwen3-Next y Qwen3.5 aplican posiciones rotatorias (RoPE) a un cuarto de las dimensiones de cada cabeza (Qwen Team, 2025; Qwen Team, 2026).

Si son dos cosas. Mamba-2 nació de mostrar que los SSM y ciertas variantes de la atención son dos descomposiciones de una misma clase de matrices (Dao y Gu, 2024), y el artículo de Gated DeltaNet presenta a Mamba-2 como una atención lineal con decaimiento (S. Yang et al., 2025, sec. 2.1). La oposición real no sería recurrencia contra atención, sino comprimir contra no comprimir. Kimi Linear afirma ser el primer híbrido que supera a la atención completa en una comparación justa (Kimi Team, 2025): es una afirmación del propio laboratorio.