La idea viene de la teoría de control: un sistema tiene un estado interno h que evoluciona con las entradas x y del que se leen las salidas y. En versión discreta:
hₜ = Ā·hₜ₋₁ + B̄·xₜ, yₜ = C·hₜ
Es una recurrencia, pero lineal. En las versiones previas a Mamba, además, las matrices eran las mismas en todos los pasos; eso permite calcular la secuencia entera de una vez, como una convolución, y entrenar en paralelo, mientras que al generar se avanza paso a paso con un estado de tamaño fijo. Lo mejor de dos mundos: el entrenamiento paralelo de los transformers y la memoria constante de las redes recurrentes.
Mamba. Gu y Dao (2023) identificaron la debilidad de estos modelos con el lenguaje: no podían decidir qué retener según el contenido de cada token. Su solución fue hacer que los parámetros dependan de la entrada, para «propagar u olvidar» información de manera selectiva, una idea emparentada con las compuertas de la LSTM. Eso impide usar la convolución, así que diseñaron un algoritmo paralelo adaptado al hardware. Según los autores, Mamba escala linealmente con la longitud de la secuencia, procesa en inferencia unas cinco veces más tokens por segundo que un transformer, y su versión de 3.000 millones de parámetros iguala a transformers del doble de tamaño (Gu y Dao, 2023). Alammar y Grootendorst (2024) lo presentan, junto con RWKV, como una alternativa que busca el rendimiento del transformer con contextos más largos o inferencia más rápida (2024, p. 24).
El intercambio. Un transformer guarda todo lo que leyó (en su caché KV, que crece con cada token) y puede volver a mirar cualquier palabra exacta. Un modelo de espacio de estados comprime el pasado en un estado fijo: más barato, pero lo que no guardó, lo perdió. Por eso se ensayan híbridos que intercalan capas de atención.
Un ángulo filosófico. Es la vieja tensión entre memoria como archivo y memoria como resumen. No recordamos al pie de la letra lo que leímos hace diez páginas, pero retenemos lo relevante; cuál diseño se parece más a eso, y si importa que se parezca, queda para discutir.