Un embedding asigna a cada ítem un punto en un espacio de muchas dimensiones, con la esperanza de que la geometría refleje algo del significado: palabras de uso parecido, cerca; palabras sin relación, lejos. Así la semejanza se vuelve medible con operaciones como la similitud coseno (Alammar y Grootendorst, 2024, pp. 8–10). El término viene de la matemática, donde un embedding (incrustación, inmersión) es un mapeo que preserva estructura.
Ejemplo mínimo. En los vectores GloVe entrenados sobre Wikipedia, los vecinos más cercanos de king son prince (similitud 0,82), queen (0,78), ii, emperor y son (Alammar y Grootendorst, 2024, p. 63). Con word2vec se popularizó además la aritmética de analogías: vector(King) − vector(Man) + vector(Woman) cae más cerca de Queen que de cualquier otra palabra (Mikolov, Chen et al., 2013, sec. 1.1).
Los embeddings no se diseñan: se aprenden. word2vec empieza con vectores al azar y los ajusta mientras entrena una red para distinguir pares de palabras que aparecen juntas de pares tomados al azar; al final, palabras con vecinos parecidos tienen vectores parecidos (Alammar y Grootendorst, 2024, pp. 64–67). Es la hipótesis distribucional convertida en procedimiento. En un LLM, la primera capa es una tabla con un embedding por cada token del vocabulario, que también empieza al azar y se entrena junto con el resto del modelo (Alammar y Grootendorst, 2024, pp. 57–58). Hay además embeddings de oraciones y documentos, base de la búsqueda semántica (Alammar y Grootendorst, 2024, pp. 61–62).
Dos cautelas. Las dimensiones rara vez corresponden a propiedades interpretables: imaginar un eje de «humanidad» es una simplificación útil pero falsa (Alammar y Grootendorst, 2024, p. 9). Y un embedding estático da un único vector por palabra, así que banco de plaza y banco de dinero comparten representación; los embeddings contextuales resuelven eso. La demo de embeddings permite explorar un espacio de juguete.