Una bolsa de palabras reduce un texto a un inventario: qué palabras aparecen y cuántas veces. Técnicamente es un multiconjunto, porque, a diferencia de un conjunto, admite repeticiones (Witten et al., 2017, p. 103). El procedimiento es simple: se tokeniza el texto, se arma un vocabulario con todas las palabras distintas y cada documento pasa a ser un vector con una dimensión por palabra, cuyo valor es la cuenta (Alammar y Grootendorst, 2024, pp. 6–7).
Ejemplo mínimo. «El perro mordió al hombre» y «el hombre mordió al perro» reciben exactamente el mismo vector: {al: 1, el: 1, hombre: 1, mordió: 1, perro: 1}. Millière y Buckner (2024a) señalan que promediar los embeddings de las palabras de una oración, un atajo frecuente, también es en el fondo una bolsa: a law book y a book law quedan iguales (2024a, sec. 2.1).
Pese a esa ceguera, rinde mucho. Es la base del Bayes ingenuo multinomial para clasificar documentos (Witten et al., 2017, pp. 103–104) y de la ponderación TF-IDF de la recuperación de información, que premia las palabras frecuentes en un documento pero raras en la colección (2017, p. 314). Sobrevive en el modelado de temas: BERTopic agrupa documentos con embeddings, pero describe cada grupo con una bolsa ponderada (Alammar y Grootendorst, 2024, pp. 148–149). Y el CBOW de word2vec (continuous bag of words) debe su nombre a que promedia los vecinos sin importar su orden.
La expresión tiene una historia irónica. Aparece en Harris (1954) para decir lo contrario de lo que hoy designa: el lenguaje «no es meramente una bolsa de palabras», sino una herramienta cuyas propiedades se forjaron en el uso (1954, p. 156). La bolsa es el caso límite de una representación sin composicionalidad, y que funcione tan bien para clasificar por tema sugiere que muchas tareas dependen más de qué se habla que de qué se dice sobre eso. Un detalle técnico con moraleja: si se reordena la entrada de una capa de atención, la salida solo se reordena igual (Buckner, 2024, p. 23); sin codificación posicional, un codificador transformer tampoco distinguiría quién mordió a quién.