Los modelos de lenguaje aprenden una distribución de probabilidad a partir de texto humano. ¿Qué pasa cuando el texto disponible lo escribieron, en buena parte, otros modelos? Shumailov et al. (2024) hicieron el experimento: ajustaron un modelo pequeño (OPT-125m) sobre artículos de Wikipedia, le hicieron generar un corpus del mismo tamaño, entrenaron con él la generación siguiente, y así sucesivamente. Ante un pasaje sobre torres de iglesias medievales, la generación 0 todavía hablaba de arquitectura; la 9 enumeraba «black-tailed jackrabbits, white-tailed jackrabbits, blue-tailed jackrabbits…» [«liebres de cola negra, de cola blanca, de cola azul…», trad. propia].
Los autores distinguen un colapso temprano, en el que se pierden las colas de la distribución (lo raro, lo minoritario, lo excéntrico), y uno tardío, en el que el modelo converge a algo que se parece poco al original y tiene mucha menos varianza. La causa principal es estadística: con muestras finitas, lo poco frecuente tiene cierta probabilidad de no aparecer, y lo que no aparece en una generación ya no puede aprenderse en la siguiente; a eso se suman los errores de expresividad y de aprendizaje de cada red. Alemohammad et al. (2024) observaron lo mismo en imágenes y lo llamaron, en honor a la vaca loca, model autophagy disorder.
No es un destino inevitable. Gerstgrasser et al. (2024) mostraron que el colapso ocurre cuando los datos sintéticos reemplazan a los reales, pero se evita si se acumulan junto a ellos; y la industria usa datos sintéticos a propósito, filtrados, en la destilación o el entrenamiento de razonamiento. La preocupación de fondo persiste: el texto humano de calidad es finito (Muennighoff et al., 2025) y la web se llena de slop. No confundir con el colapso de modos, que ocurre dentro de un único entrenamiento.
Para la hipótesis distribucional el caso es curioso: si el significado se aprende del uso, ¿qué ancla el significado cuando el uso es, cada vez más, el de las máquinas?