Un buscador semántico no busca documentos sino embeddings, y un embedding representa bien un pasaje breve y mal un libro. Hay dos razones: los modelos que los producen tienen una ventana de contexto limitada, y un único vector para un documento largo es un resumen tan comprimido que pierde casi toda la información puntual (Alammar y Grootendorst, 2024, pp. 235–236). Por eso se fragmenta: el índice guarda un vector por fragmento, no por documento, y la búsqueda semántica devuelve el fragmento más cercano a la pregunta.
Las estrategias van desde una oración por fragmento (demasiado poco contexto) hasta un párrafo o grupos de tres a ocho oraciones; también se agrega el título del documento a cada fragmento o se hacen fragmentos solapados, que repiten parte del texto vecino (2024, p. 237). El sistema RAG original partió Wikipedia en fragmentos disjuntos de cien palabras: 21 millones de «documentos» (P. Lewis et al., 2020, sec. 3).
Parece un detalle de plomería, pero es una decisión semántica. Un fragmento que empieza «Esa norma fue derogada en 2019» es inútil si la norma se nombraba en el párrafo anterior: el corte rompió una anáfora. Fragmentos demasiado chicos pierden contexto; demasiado grandes diluyen el vector y llenan el prompt de ruido. En los sistemas RAG, buena parte de las respuestas equivocadas viene de un pasaje mal cortado antes que de una mala generación.
Para el lingüista hay un eco doble. La palabra chunk ya existía en psicología, con otro sentido: la unidad de agrupamiento en la memoria de corto plazo (Miller, 1956). Y el problema recuerda al principio de contexto de Frege, que prohibía preguntar por el significado de una palabra aislada: ¿cuál es la unidad mínima de texto que conserva su sentido fuera de su entorno? El chunking responde por decreto, con un número de palabras.