Un modelo de difusión genera datos aprendiendo a deshacer una corrupción gradual. Se toma una imagen, se le agrega un poco de ruido, y otro poco, y así cientos de veces hasta que no queda nada de ella; después se entrena una red neuronal para recorrer ese camino al revés. La idea viene de la termodinámica fuera del equilibrio (Sohl-Dickstein y colegas la propusieron en 2015), pero fueron Ho et al. (2020) quienes mostraron que podía producir imágenes de alta calidad (2020, sec. 1).
Cómo funciona
El proceso de ida es una cadena de Markov fija, sin nada que aprender: en cada paso se suma un poco de ruido gaussiano, con T = 1000 pasos y varianzas que crecen de 10⁻⁴ a 0,02, hasta que la imagen es indistinguible de estática (Ho et al., 2020, secs. 2, 4). El proceso de vuelta sí se aprende. El hallazgo práctico de Ho y colegas fue que conviene entrenar la red con un objetivo simplificado: dada una imagen con ruido y el número de paso, predecir qué ruido se le agregó (2020, secs. 3.2, 3.4). Es, en el fondo, un autocodificador que elimina ruido (denoising), entrenado en todos los niveles de ruido a la vez; los autores muestran que equivale a una técnica conocida, el denoising score matching, que estima hacia dónde crece la densidad de los datos, y que generar equivale a seguir esa pendiente con dinámica de Langevin.
La red es una U-Net: una arquitectura convolucional que comprime la imagen y la vuelve a expandir con atajos entre niveles, con capas de autoatención a baja resolución; el número de paso entra como una codificación posicional sinusoidal, la misma del Transformer (2020, sec. 4, app. B). En CIFAR-10 el DDPM alcanzó un FID de 3,17, mejor que casi todos los modelos publicados hasta entonces (2020, sec. 4.1).
Difusión latente y texto
Trabajar sobre píxeles es caro. Rombach et al. (2022) propusieron hacer la difusión en el espacio latente de un autocodificador preentrenado, que reduce la imagen varias veces por lado sin perder lo perceptualmente importante, y agregar capas de atención cruzada para condicionar la generación con texto u otras entradas (2022, secs. 3, 3.3). Esa es la base de Stable Diffusion, publicado con pesos abiertos en agosto de 2022: según el repositorio de CompVis (2022), una U-Net de 860 millones de parámetros condicionada por el codificador de texto congelado de CLIP, que corre en una GPU de 10 GB. En cada paso de eliminación de ruido el modelo combina el estado actual de la imagen con la «dirección semántica» que aporta el vector del texto (Millière y Buckner, 2024b, sec. 3.1.1; Alammar y Grootendorst, 2024, p. 265).
Qué cambió
Frente al autocodificador variacional, que decodifica de un solo paso, y a las GAN, con su entrenamiento adversarial inestable, la difusión reparte la dificultad en muchos pasos pequeños, cada uno fácil. Como modelos basados en verosimilitud, no sufren el colapso de modos de las GAN (Rombach et al., 2022, sec. 1). El precio es la lentitud: en el DDPM, generar 128 imágenes de 256 × 256 llevaba unos 300 segundos en una TPU v3-8 (Ho et al., 2020, app. B).
Límites
El muestreo sigue siendo más lento que el de una GAN (Rombach et al., 2022, sec. 5). Los modelos condicionados por codificadores contrastivos como CLIP fallan al asociar atributos con objetos, interpretar preposiciones espaciales, contar y manejar negaciones; Millière y Buckner (2024b) atribuyen buena parte de esto al objetivo contrastivo, que trata los textos casi como bolsas de palabras (2024b, sec. 3.1.1). Y lo que aprenden refleja sus datos: la propia ficha de Stable Diffusion advierte que reproduce y amplifica sesgos de un corpus extraído de la web, con material para adultos y descripciones mayoritariamente en inglés.