Un modelo de lenguaje de difusión genera texto sin escribirlo de izquierda a derecha. Parte de un lienzo enmascarado y, paso a paso, predice todas las posiciones a la vez, conserva las más seguras y vuelve a tapar el resto. LLaDA mostró que la receta funciona a la escala de un modelo de lenguaje grande: 8.000 millones de parámetros entrenados desde cero con 2,3 billones de tokens. Sus autores lo encuentran, en conjunto, competitivo con LLaMA 3 8B, que vio 15 billones (Nie et al., 2025, secs. 2.2, 3.2).
Cómo funciona
El proceso de ida es la versión discreta del ruido de Modelo de difusión: se sortea un t entre 0
y 1 y cada token se reemplaza por [MASK] con probabilidad t; con t = 1 no queda nada. La red
que aprende la vuelta es un Transformer sin máscara causal que predice
a la vez todos los tokens tapados. La pérdida se calcula solo sobre ellos y es
una cota superior de la log-verosimilitud negativa: entrenar con ella es estimar, de modo
aproximado, por máxima verosimilitud, como en un modelo autorregresivo (Nie et al., 2025, sec. 2.1).
Hasta acá, es casi BERT. La diferencia es que BERT tapa siempre el 15 %, mientras que aquí la tasa varía entre 0 y 1 y la pérdida se pondera por 1/t; según los autores, esa diferencia sutil es la que vuelve generador el ejercicio de llenar huecos (2025, sec. 2.1). La genealogía es corta: Austin et al. (2021) extendieron la difusión a estados discretos y vieron que un estado «absorbente» (la máscara) conecta la difusión con los modelos enmascarados; Lou et al. (2024) llegaron a la perplejidad de GPT-2; Sahoo et al. (2024) mostraron que el objetivo se reduce a una mezcla de pérdidas de modelado enmascarado clásico.
Para responder, el modelo recibe el prompt y un lienzo de largo fijo enteramente tapado. En cada paso predice todas las máscaras, conserva las predicciones con más confianza y vuelve a tapar las demás (Nie et al., 2025, sec. 2.4). En la difusión enmascarada, un token puesto queda puesto.
Qué cambió
La generación autorregresiva hace una pasada por token y guarda lo ya calculado en una caché KV; LLaDA, que no tiene máscara causal, no puede hacerlo y reprocesa todo en cada paso (Nie et al., 2025, sec. 2.2).
| Autorregresivo | Difusión | |
|---|---|---|
| Orden | de izquierda a derecha | cualquiera |
| Tokens por pasada | uno | uno o varios, según los pasos |
| Caché KV | sí | no, en la forma pura |
| Largo | lo decide el modelo | tope fijado de antemano |
Aquí el número de pasos es un hiperparámetro: menos pasos dan más velocidad con menos calidad (2025, sec. 2.4). Como cada predicción ve ambos lados, completar un hueco en el medio es natural. Y hay algo más: Berglund et al. (2024) mostraron que un modelo autorregresivo que aprendió «A es B» no generaliza por sí solo a «B es A»; en una prueba con versos de poemas chinos, LLaDA completa el verso anterior casi tan bien como el siguiente (45,6 % contra 51,8 %), mientras que GPT-4o cae de 82,7 % a 34,3 % (Nie et al., 2025, sec. 3.3).
La industria tomó el camino de la velocidad. Google presentó Gemini Diffusion como demostración en mayo de 2025 (Google DeepMind, 2025); según el informe de Inception, medido por Artificial Analysis, Mercury Coder Mini supera los 1.000 tokens por segundo en GPU H100 (Inception Labs et al., 2025). Dream 7B partió de los pesos de un modelo autorregresivo (Ye et al., 2025) y LLaDA-MoE sumó expertos (Zhu et al., 2025). La difusión por bloques genera bloques de izquierda a derecha y difunde dentro de cada uno, lo que recupera la caché KV y el largo variable (Arriola et al., 2025). DiffusionGemma (junio de 2026) combina ambas cosas: un codificador causal procesa el prompt y lo guarda en caché, y un decodificador bidireccional elimina ruido en lienzos de 256 tokens, uno tras otro; en rigor, es la misma red en dos modos. En lugar de máscaras usa tokens al azar, que pueden volver a sortearse, lo que le permite corregir lo ya escrito (Google DeepMind, 2026; Google, 2026; O'Donoghue y Flennerhag, 2026).
Límites
- Calidad. La ficha de DiffusionGemma lo deja por debajo de Gemma 4 del mismo tamaño en casi todas las pruebas (77,6 % contra 82,6 % en MMLU Pro), y Google recomienda el modelo autorregresivo cuando importa la calidad (Google DeepMind, 2026; O'Donoghue y Flennerhag, 2026).
- Velocidad condicional. La ventaja vale para un usuario en una placa; en un servidor que agrupa muchos pedidos, se diluye (O'Donoghue y Flennerhag, 2026).
- Largo y cómputo. El largo es un hiperparámetro, y un trabajo previo citado por Nie et al. (2025) estimaba que la difusión enmascarada necesita 16 veces más cómputo para igualar la verosimilitud de un autorregresivo; los autores responden que la verosimilitud mide de manera indirecta el desempeño (2025, secs. 3.1, 5).
- Alineamiento. LLaDA solo tuvo ajuste fino supervisado, sin aprendizaje por refuerzo (2025, sec. 3.2).