Un transformer procesa cada token de la entrada por su propio «carril» de cómputo y tiene un número máximo de carriles: su longitud de contexto. Un modelo con contexto de 4K procesa a lo sumo 4.000 tokens (Alammar y Grootendorst, 2024, p. 81). El límite incluye el prompt y la respuesta: como la generación es autorregresiva, cada token producido ocupa lugar (Alammar y Grootendorst, 2024, p. 22). BERT trabajaba con 512 tokens (Devlin et al., 2019, p. 4183); GPT-2 duplicó el contexto de su predecesor, de 512 a 1024 (Radford et al., 2019, sec. 2.3); los modelos recientes llegan a cientos de miles.
Ejemplo mínimo. Supongamos, para simplificar, una palabra por token y una ventana de 8. En «Ana le prestó el libro a Pedro . Él lo devolvió ayer», al llegar a ayer el modelo solo ve «libro a Pedro . Él lo devolvió ayer»: para él, «Ana le prestó el» no existe, y no podría responder quién prestó el libro.
¿Por qué hay un límite? Porque la autoatención compara cada token con todos los demás, y su costo crece con el cuadrado de la longitud, O(n² · d) por capa (Vaswani et al., 2017, sec. 4); de ahí variantes como la atención dispersa, que restringe qué tokens previos se miran (Alammar y Grootendorst, 2024, p. 96). Más allá de la ventana no hay memoria: el modelo no guarda estado entre llamadas, y los asistentes que «recuerdan» una conversación le reenvían el historial en cada turno, completo o resumido (Alammar y Grootendorst, 2024, pp. 209–210). Para textos largos, la búsqueda semántica y los sistemas RAG parten los documentos en fragmentos (Alammar y Grootendorst, 2024, p. 235).
La idea tiene un antecedente elegante. En 1949, Warren Weaver imaginó leer un libro a través de una máscara opaca con una ranura: si la ranura deja ver una sola palabra, es imposible saber si fast significa «rápido» o «inmóvil»; si se la ensancha hasta ver N palabras a cada lado, con N suficientemente grande, la ambigüedad desaparece (Weaver, 1949). La ventana de contexto es esa ranura, ahora de cientos de miles de tokens.