ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Lenguaje y modelos de lenguaje

MT065

Búsqueda semántica

También: recuperación densa

En inglés: Semantic search

Búsqueda por significado en lugar de por coincidencia de palabras: consultas y documentos se convierten en embeddings y se devuelven los documentos más cercanos.

La búsqueda por palabras clave devuelve documentos que contienen los términos de la consulta; la búsqueda semántica intenta devolver los que significan algo pertinente, aunque no compartan palabras. Fue una de las primeras aplicaciones industriales de los modelos de lenguaje: meses después de la publicación de BERT, Google anunció que lo usaba en su buscador (Alammar y Grootendorst, 2024, p. 225).

Ejemplo mínimo. Consulta: «¿cómo arreglo una pinchadura?». Documento: «Guía para reparar la cámara de la bici». No comparten una sola palabra, pero sus embeddings quedan cerca, y el documento aparece entre los primeros resultados.

La técnica central es la recuperación densa: se parte el archivo en fragmentos, se calcula el embedding de cada uno, se guardan en un índice o base de datos vectorial y, ante una consulta, se buscan sus vecinos más cercanos, típicamente por similitud coseno (Alammar y Grootendorst, 2024, pp. 226–229). Suele seguirle un reranker, un modelo que lee consulta y documento juntos y reordena los mejores candidatos; y es la primera mitad de los sistemas de recuperación aumentada (Generación aumentada por recuperación (RAG)), en los que lo recuperado se le pasa a un generador (Alammar y Grootendorst, 2024, pp. 226–227). Sentence-BERT hizo práctico este esquema al producir, para cada oración, un vector directamente comparable (Reimers y Gurevych, 2019).

Límites que una teoría del significado ayuda a ver. Cercanía no es pertinencia: una pregunta y su respuesta no siempre son semánticamente parecidas, y por eso los modelos de recuperación se entrenan con pares pregunta–respuesta (Alammar y Grootendorst, 2024, p. 229). Siempre hay un vecino más cercano, aunque ningún documento responda: preguntar por la masa de la Luna a un artículo sobre una película igual devuelve tres oraciones (Alammar y Grootendorst, 2024, p. 234). Las búsquedas de frases exactas funcionan mejor con palabras clave, de ahí los sistemas híbridos, y el rendimiento cae fuera del dominio de entrenamiento, por ejemplo en textos jurídicos (Alammar y Grootendorst, 2024, p. 235). Y no hay aquí control de verdad: la búsqueda semántica encuentra textos parecidos, no textos correctos.

Fuentes

  • Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
  • Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 3982–3992). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-1410 §