La difusión de imágenes (Modelo de difusión) trabaja con números reales: a cada píxel se le suma un poco de ruido gaussiano y la red aprende a restarlo. Con texto no hay qué sumar: un token es un elemento de un vocabulario finito, y «gato + 0,1» no es nada. La difusión discreta cambia la suma por una probabilidad de transición: en cada paso, cada token se queda como está o salta a otro símbolo según una matriz Qₜ (Austin et al., 2021, sec. 3). Lo que se aprende sigue siendo el camino de vuelta.
Austin et al. (2021) (D3PM) estudiaron varias matrices; para el texto importan dos (2021, sec. 3.1):
- Ruido absorbente. Cada token se queda o pasa a
[MASK], de donde no sale; al final todo es máscara, y el modelo sabe qué posiciones faltan. En texto fue la variante que mejor rindió (2021, sec. 5), también en SEDD (Lou et al., 2024, sec. 5.2). Sahoo et al. (2024) (MDLM) mostraron que su objetivo es un promedio ponderado de pérdidas de modelado enmascarado y que, a la vuelta, un token revelado no cambia más en su parametrización (2024, secs. 3.2.3, 3.5). Es la receta de LLaDA (Nie et al., 2025, sec. 2.1). - Ruido uniforme. Cada token puede saltar a cualquier otro; al final queda una sopa de tokens al azar. El modelo no sabe cuáles están mal, pero nada queda fijo: DiffusionGemma usa esta variante para poder corregir lo ya escrito (Google, 2026).
El marco abarca modelos conocidos. Según Austin et al. (2021), BERT es una difusión de un solo paso, y un modelo autorregresivo es una difusión determinista que tapa un token por paso empezando por el final (2021, sec. 4). En este marco, escribir de corrido y llenar huecos son dos maneras de ordenar el ruido.
Un detalle para lingüistas: los autores probaron también un ruido que salta con más frecuencia entre tokens con embeddings parecidos (la idea: en un vocabulario de letras, las vocales se parecen más entre sí que a las consonantes). Apenas mejoró al uniforme, un resultado negativo que los sorprendió y que, según ellos, sugiere que no toda noción de estructura es significativa (2021, secs. 3.1, 5.1). ¿Qué similitud entre signos sería la pertinente para corromper un texto?