Mamba es una arquitectura de secuencias que prescinde de la atención: procesa el texto con un modelo de espacio de estados, una forma de recurrencia que lleva la historia comprimida en un estado de tamaño fijo. Gu y Dao la presentaron en diciembre de 2023 como la primera alternativa de tiempo lineal que igualaba a los transformers en modelado de lenguaje: su modelo de 2.800 millones de parámetros superaba a transformers del mismo tamaño y empataba con otros del doble (Gu y Dao, 2023). Alammar y Grootendorst (2024) la mencionan entre las arquitecturas nuevas que buscan el rendimiento del transformer con ventanas más grandes o inferencia más rápida (2024, p. 24).
Cómo funciona
Un modelo de espacio de estados, en su versión discreta, es una recurrencia lineal: hₜ = Ā·hₜ₋₁ + B̄·xₜ, yₜ = C·hₜ. El vector h es el estado oculto; la idea viene de la teoría de control, del filtro de Kalman (Gu y Dao, 2023, sec. 2). Sus antecesores (S4 y familia) tenían parámetros fijos en el tiempo, lo que permitía calcularlos como una gran convolución y entrenarlos en paralelo, pero les impedía decidir qué recordar según el contenido: resolvían la tarea de copiar una secuencia a distancia fija, pero no la de «copia selectiva», en la que hay que retener solo ciertos tokens dispersos entre ruido (Gu y Dao, 2023, sec. 3.1).
La novedad de Mamba es la selección: Δ, B y C pasan a ser funciones de la entrada, de modo que en cada token el modelo decide cuánto del estado conservar y cuánto del token incorporar. Los autores muestran que las compuertas de las redes recurrentes clásicas son un caso particular de este mecanismo (Gu y Dao, 2023, sec. 3.5). El precio es perder la convolución; lo pagan con un escaneo paralelo que corre en la memoria rápida de la GPU sin materializar el estado expandido (Gu y Dao, 2023, sec. 3.3). El bloque resultante (proyección lineal, convolución corta, SSM selectivo y compuerta multiplicativa) se apila de manera homogénea, sin capas de atención ni feedforward aparte (Gu y Dao, 2023, sec. 3.4).
Qué cambió
Frente a la LSTM, la recurrencia es lineal en el estado, y eso es lo que permite entrenarla en paralelo. Frente al Transformer, los autores plantean el problema como compresión: la atención es eficaz e ineficiente porque no comprime nada (guarda el contexto entero en la caché KV, que crece con cada token), mientras que una red recurrente es eficiente porque lo comprime todo en un estado finito, pero solo es tan buena como esa compresión (Gu y Dao, 2023, sec. 3.1). Mamba apuesta a comprimir con criterio. El resultado: cómputo y memoria lineales en la longitud durante el entrenamiento, costo constante por token al generar, unas cinco veces más velocidad de generación que un transformer de tamaño similar, y mejoras con contextos de hasta un millón de elementos en tareas sintéticas y en ADN (Gu y Dao, 2023, sec. 1).
Límites
El artículo original llega a 2.800 millones de parámetros y 300.000 millones de tokens; sus autores advierten que falta ver si la ventaja se mantiene a mayor escala (Gu y Dao, 2023, sec. 5). Además, un estado fijo no puede guardarlo todo. Jelassi et al. (2024) probaron que un transformer de dos capas puede copiar cadenas de longitud exponencial mientras que estos modelos quedan limitados por su estado, y que en la práctica rinden mucho peor al copiar y recuperar información del contexto. La respuesta de la industria fueron los híbridos: Jamba (Lieber et al., 2024) intercala una capa de atención cada siete de Mamba y reduce ocho veces la caché KV respecto de un transformer común. Desde entonces los híbridos pasaron de experimento a familia propia: Híbrido SSM (Jamba, Qwen3.5).