ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Lenguaje y modelos de lenguaje

MT072

Analogías entre palabras (desplazamientos vectoriales)

También: método del desplazamiento, 3CosAdd, rey − hombre + mujer

En inglés: Word analogies (vector offsets)

Resolver «A es a B como C es a ?» con aritmética de embeddings: calcular B − A + C y buscar la palabra más cercana al resultado.

Si una relación (singular–plural, país–capital) estuviera codificada como un desplazamiento constante en el espacio de embeddings, bastaría sumarlo para pasar de un par al otro. Para responder «big es a biggest como small es a ?», Mikolov, Chen et al. (2013) calculan vector(biggest) − vector(big) + vector(small) y devuelven la palabra más cercana por similitud coseno, descartando las de la pregunta (2013, sec. 4). Con esa prueba (8.869 analogías semánticas y 10.675 sintácticas, y solo la palabra exacta como acierto) evaluaron word2vec; el mejor modelo llegó al 65,6 % (2013, secs. 4.1, 4.4).

Hay antecedentes en psicología: Rumelhart y Abrahamson (1973) modelaron analogías entre nombres de animales como paralelogramos en un espacio de semejanza. Y hay letra chica. Levy y Goldberg (2014) mostraron que, con vectores normalizados, el método equivale a sumar y restar similitudes (de ahí el nombre 3CosAdd): cos(x, B) − cos(x, A) + cos(x, C). Linzen (2016) fue más lejos: sin excluir las palabras de la pregunta, la respuesta era casi siempre C; y una parte del éxito se obtiene devolviendo simplemente el vecino más cercano de C. Nissim et al. (2020) notaron que la misma regla prohíbe responder doctor a «man es a doctor como woman es a ?», lo que exageró algunos sesgos famosos.

Para M. Mitchell (2019), que estudió la analogía con Hofstadter, estos juegos se quedan cortos (2019, ch. 11). Una analogía genuina exige deslizamientos conceptuales: si abc pasa a abd, ¿qué le pasa a xyz? Quien responde wyz dejó que «último» se deslizara a «primero» y «sucesor» a «predecesor» (2019, ch. 14). Un desplazamiento vectorial fijo no puede deslizarse: aplica la misma resta en todos los casos. La pregunta es si las representaciones contextuales de los modelos actuales, que ya no son fijas, cambian ese diagnóstico.

Fuentes

  • Linzen, T. (2016). Issues in evaluating semantic spaces using word analogies. In Proceedings of the 1st Workshop on Evaluating Vector-Space Representations for NLP (pp. 13–18). Association for Computational Linguistics. https://doi.org/10.18653/v1/W16-2503 §
  • Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space (arXiv:1301.3781). arXiv. https://doi.org/10.48550/arXiv.1301.3781 §
  • Mitchell, M. (2019). Artificial intelligence: A guide for thinking humans. Pelican Books. §
  • Nissim, M., van Noord, R., & van der Goot, R. (2020). Fair is better than sensational: Man is to doctor as woman is to doctor. Computational Linguistics, 46(2), 487–497. https://doi.org/10.1162/coli_a_00379 §