Una distribución de datos reales tiene muchos modos, picos de probabilidad: perros de todas las razas, rostros de todas las edades. Hay colapso cuando el generador cubre solo algunos. Goodfellow et al. (2014) lo detectaron desde el principio en las GAN: si se entrena demasiado el generador sin actualizar el discriminador, envía demasiados valores del ruido z a la misma imagen; lo llamaron, con humor tipográfico, «el escenario Helvetica» (2014, sec. 6).
Por qué ocurre. El generador no aprende la distribución: aprende a engañar al discriminador actual. Su mejor jugada inmediata es producir la única salida que el juez hoy considera más realista; cuando el juez aprende a rechazarla, salta a otra, y el entrenamiento puede quedar ciclando entre modos. Goodfellow (2016) observa que el colapso total es raro y el parcial común (el mismo perro desde ángulos distintos). Salimans y colegas (2016) señalaron una causa concreta: el discriminador juzga cada ejemplo por separado y no nota que todos se parecen; su remedio fue dejarlo comparar lotes enteros. Chollet (2021) reúne una «bolsa de trucos», como inyectar azar, para que el entrenamiento adversarial no se estanque (2021, sec. 12.5).
En los modelos de lenguaje. Por extensión, janus (2022) llamó mode collapse a la tendencia de algunos modelos ajustados con instrucciones a concentrar la probabilidad en pocas respuestas: text-davinci-002, pedido de un número al azar entre 0 y 100, prefería el 97. Kirk y colegas (2024) midieron que el RLHF reduce la diversidad de salidas respecto del ajuste supervisado. No es lo mismo que bajar la temperatura: cambia qué considera probable el modelo, no cuánto se arriesga al muestrear (compárese con un modelo base).
No debe confundirse con el colapso de modelos (Shumailov et al., 2024), que degrada a los modelos entrenados con datos generados por otros modelos. La lección general tiene aire de familia con Goodhart: optimizar contra un juez produce lo que el juez premia, no necesariamente lo que el juez pretendía medir.