Un modelo discriminativo aprende directamente la relación entre entrada y respuesta: la probabilidad condicional p(clase | datos) o, sin probabilidades, una frontera de decisión. La regresión logística, las máquinas de vectores de soporte o AlexNet son discriminativos: saben distinguir gatos de perros, pero no saben dibujar un gato.
Un modelo generativo aprende cómo se distribuyen los datos mismos, p(datos) o p(datos, clase). Como define una distribución de probabilidad completa, puede usarse para generar ejemplos nuevos muestreando de ella (Witten et al., 2017, p. 371). Curiosamente, un generativo también puede clasificar: Bayes ingenuo modela cómo se ve un correo de cada clase y, con el teorema de Bayes, invierte esa información para decidir si un correo nuevo es spam (en el Pokédex figura como discriminativo por el uso que se le da). GAN combina las dos cosas: un generador que fabrica ejemplos y un discriminador que intenta detectarlos (Goodfellow et al., 2014).
En la era de los modelos de lenguaje, «generativo» pasó a significar «que produce texto o imágenes». Alammar y Grootendorst (2024) reservan el nombre para los modelos decodificadores como GPT y llaman modelos de representación a los codificadores como BERT, que producen embeddings y no texto (2024, p. 20). En Elemedex, los tipos Generativo y Discriminativo siguen esa distinción amplia.
El lingüista oirá el eco de la gramática generativa: para Chomsky (1957), una gramática es un dispositivo que genera todas las oraciones gramaticales de una lengua y ninguna de las agramaticales. Un modelo de lenguaje también «genera» una lengua, pero de otro modo: no separa lo gramatical de lo agramatical, sino que asigna a cada secuencia una probabilidad. Y generar no es comprender: que un sistema produzca oraciones bien formadas no dice qué relación tienen con el mundo (ver forma y significado).