ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Lenguaje y modelos de lenguaje

MT055

Hipótesis distribucional

También: semántica distribucional

En inglés: Distributional hypothesis

La idea de que palabras que aparecen en contextos parecidos tienden a tener significados parecidos; es el supuesto que hace funcionar a los embeddings y a los modelos de lenguaje.

Zellig Harris la formuló como una correlación: si A y B difieren más en significado que A y C, a menudo sus distribuciones también diferirán más; la diferencia de significado se correlaciona con la diferencia de distribución (Harris, 1954, p. 156). Su ejemplo: oculist y eye-doctor aparecen casi en los mismos entornos; oculist y lawyer, no. J. R. Firth le dio el lema famoso, «You shall know a word by the company it keeps!», con las colocaciones de ass (you silly —, don't be such an —) (Firth, 1957, p. 11).

Ejemplo mínimo. Si en un corpus mate aparece con yerba, termo, caliente y amargo, y té con taza, hebras, caliente y amargo, la hipótesis predice que mate y té quedarán más cerca entre sí que de tornillo. Eso hacen, a gran escala, word2vec y los embeddings (M. Mitchell, 2019, ch. 11).

Wittgenstein, con cuidado. Firth cita a Wittgenstein en ese mismo pasaje («the meaning of words lies in their use») y habla de juegos de lenguaje (1957, p. 11). Pero «significado es uso» no equivale a «significado es distribución». Primero, Wittgenstein lo restringe a una gran clase de casos, no a todos (Wittgenstein, 1953/2009, §43). Segundo, su «uso» es el lugar de una expresión en actividades humanas (juegos de lenguaje, formas de vida, reglas que se siguen y se corrigen), no la co-ocurrencia de cadenas en un corpus; Bender y Koller (2020) insisten en esto (2020, p. 5191). Tercero, ni Harris ni Firth identificaban significado y distribución: Harris aclara que el significado no es propiedad exclusiva del lenguaje sino de la actividad humana en general (1954, p. 151), y Firth trata la colocación como un modo de significado entre otros, junto al contexto de situación (1957, pp. 11–12). Brunila y LaViolette (2022) muestran que la PLN suele leer a ambos como si dijeran lo mismo.

Para un inferencialista, además, lo que fija un contenido no es con qué palabras aparece una expresión sino qué se sigue de ella y qué excluye: una relación normativa, no estadística. Si los modelos distribucionales capturan algo de ese perfil inferencial, y cómo, es justamente lo que está en discusión (ver forma vs significado).

Fuentes

  • Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In D. Jurafsky, J. Chai, N. Schluter, & J. Tetreault (Eds.), Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 5185–5198). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.463 §
  • Brunila, M., & LaViolette, J. (2022). What company do words keep? Revisiting the distributional semantics of J.R. Firth & Zellig Harris. In M. Carpuat, M.-C. de Marneffe, & I. V. Meza Ruiz (Eds.), Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (pp. 4403–4417). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.naacl-main.327 §
  • Firth, J. R. (1957). A synopsis of linguistic theory, 1930–1955. In Studies in linguistic analysis (pp. 1–32). Blackwell. §
  • Harris, Z. S. (1954). Distributional structure. Word, 10(2–3), 146–162. https://doi.org/10.1080/00437956.1954.11659520 §
  • Mitchell, M. (2019). Artificial intelligence: A guide for thinking humans. Pelican Books. §
  • Wittgenstein, L. (2009). Philosophical investigations (G. E. M. Anscombe, P. M. S. Hacker, & J. Schulte, Trans.; P. M. S. Hacker & J. Schulte, Eds.; Rev. 4th ed.). Wiley-Blackwell. (Original work published 1953) §