CLIP es un par de codificadores, uno para imágenes y otro para texto, entrenados para que una imagen y su epígrafe caigan cerca en un mismo espacio vectorial (Radford et al., 2021, sec. 2.3). No genera nada: es un modelo de embeddings multimodal que permite comparar directamente una foto con una frase (Alammar y Grootendorst, 2024, pp. 264–265).
Cómo funciona
El punto de partida son los datos. OpenAI armó WIT, 400 millones de pares imagen–texto recolectados de internet con 500.000 consultas (hasta 20.000 pares por consulta), con una cantidad total de palabras parecida a la de WebText, el corpus de GPT-2 (Radford et al., 2021, sec. 2.2).
La decisión clave fue el objetivo. Predecir las palabras exactas de cada epígrafe resultó lento; predecir solo qué epígrafe, como un todo, va con qué imagen fue varias veces más eficiente (2021, sec. 2.3). En cada lote de N pares, CLIP calcula la similitud coseno de todas las combinaciones posibles, N × N, y aprende a maximizar las N verdaderas y minimizar las N² − N falsas. Es aprendizaje contrastivo: el modelo aprende qué hace parecidas dos cosas mostrándole también cuáles no van juntas (Alammar y Grootendorst, 2024, pp. 266–268). Los lotes fueron de 32.768 pares, y la versión más grande con codificador Vision Transformer (ViT) entrenó 12 días en 256 GPU V100 (Radford et al., 2021, sec. 2.5).
Clasificar sin ejemplos
Una vez entrenado, CLIP se convierte en un clasificador zero-shot, sin ajuste: las clases se escriben como frases («A photo of a dog.», «A photo of a cat.») y se elige la más cercana a la imagen. Así alcanzó 76,2 % en ImageNet, igualando a una ResNet-50 supervisada sin usar ninguna de sus 1,28 millones de imágenes etiquetadas (Radford et al., 2021, secs. 3.1.2–3.1.3). Los autores notan un problema que cualquier lingüista reconoce: la polisemia. «Crane» es tanto una grúa como una grulla, y ImageNet tiene las dos; «boxer» puede ser un perro o un deportista. Para desambiguar, ayuda dar contexto en el prompt, como en el caso de GPT-3 (2021, sec. 3.1.4).
Qué cambió
CLIP reemplazó las listas cerradas de etiquetas, como las mil clases de ImageNet, por la supervisión en lenguaje natural, que puede nombrar cualquier cosa. Su espacio compartido se volvió infraestructura: el codificador de texto de CLIP condiciona la generación en sistemas de difusión como Stable Diffusion, y CLIP fue el paso previo a los modelos que reciben imágenes y producen texto (Millière y Buckner, 2024b, sec. 3.1.1).
Límites
Los autores enumeran varios (Radford et al., 2021, sec. 6): rinde mal en clasificación de grano fino (modelos de autos, especies de flores), al contar objetos y en tareas raras en sus datos, y generaliza poco a lo que está de verdad fuera de su distribución, como los dígitos manuscritos de MNIST (88 %). También documentan sesgos: con ciertas listas de etiquetas, clasificó fotos de personas en categorías de delito o «no humanas» con tasas muy distintas según el grupo racial (2021, sec. 7.1). Y como su objetivo no exige preservar el orden de las palabras, su codificador de texto trata los epígrafes casi como bolsas de palabras: confunde qué atributo va con qué objeto, las relaciones espaciales, las cantidades y las negaciones (Millière y Buckner, 2024b, sec. 3.1.1).