En el aprendizaje contrastivo no se le dice al modelo qué es cada cosa, sino qué se parece a qué. Se le muestran pares positivos (una pregunta y su respuesta, una foto y su epígrafe) y negativos (combinaciones al azar), y se ajustan los embeddings para que los positivos queden cerca y los negativos lejos en el espacio vectorial, según alguna medida como la similitud coseno (Alammar y Grootendorst, 2024, pp. 291–293).
Uno de los primeros ejemplos en lenguaje fue word2vec: una palabra y sus vecinas en el texto forman pares positivos, y palabras elegidas al azar hacen de negativos (el negative sampling) (Alammar y Grootendorst, 2024, p. 293). Sentence-BERT entrena así embeddings de oraciones para la búsqueda semántica (Reimers y Gurevych, 2019), y CLIP alinea imágenes y textos con 400 millones de pares imagen-epígrafe (Radford et al., 2021). CLIP usa lotes de 32.768 pares: en cada uno, cada imagen tiene un solo epígrafe correcto y más de 32.000 incorrectos, que funcionan como negativos gratuitos (ver época y lote).
Alammar y Grootendorst (2024) conectan la técnica con una idea de filosofía de la ciencia: la explicación contrastiva. Cuando le preguntaron a un ladrón por qué robaba bancos, respondió «Because that is where the money is» [«porque ahí está la plata», trad. propia]: contestó por qué bancos y no otro lugar, cuando la pregunta era por qué robar y no respetar la ley. Explicar es siempre explicar por qué P en lugar de Q (2024, p. 292). Del mismo modo, un modelo aprende qué hace que algo sea un perro cuando se le pregunta, en efecto, por qué esto es un perro y no un gato. Para un lingüista, la resonancia es saussureana: en la lengua, decía Saussure (1916), no hay más que diferencias, y el valor de un signo depende de su oposición a otros. El aprendizaje contrastivo construye exactamente eso: un espacio donde cada punto vale por sus distancias a los demás.