Atención de consultas agrupadas (GQA)

En la atención multicabezal cada cabeza tiene su propia consulta, su propia clave y su propio valor. Al generar, las claves y valores de todos los tokens anteriores se guardan en la caché KV, y el cuello de botella no es tanto el cálculo como el ancho de banda: en cada paso hay que volver a cargar esos tensores desde la memoria (Shazeer, 2019, sec. 1).

Multiconsulta (MQA). Shazeer (2019) propuso que las cabezas conserven sus consultas pero compartan una sola clave y un solo valor. Con H cabezas, la caché se reduce H veces (Ainslie et al., 2023, sec. 2.2); la decodificación se acelera mucho, con una pérdida de calidad que el autor describe como menor (2019).

Por grupos (GQA). Ainslie et al. (2023) propusieron un término medio: las H cabezas de consulta se reparten en G grupos y cada grupo comparte un par clave–valor. GQA-1 es MQA; GQA-H es la atención multicabezal de siempre (2023, sec. 2.2). Mostraron además que un modelo ya entrenado puede convertirse promediando las proyecciones de cada grupo y reentrenándolo con un 5 % del cómputo original. En T5-XXL, la versión de 8 grupos tardó 0,28 s en inferencia frente a 1,51 s de la original (MQA: 0,24 s), con un puntaje promedio casi igual (47,1 contra 47,2; MQA: 46,6) (2023, tabla 1).

Dónde está. Llama 2 la adoptó solo en sus versiones de 34.000 y 70.000 millones de parámetros (Touvron, Martin et al., 2023, sec. 2.2), y la usa también Llama 3 (Alammar y Grootendorst, 2024, p. 98) (LLaMA). Mixtral, la mezcla de expertos de Mistral, tiene 32 cabezas de consulta y 8 de clave y valor (Jiang et al., 2024, sec. 2), y Jamba la usa en sus pocas capas de atención (Híbrido SSM (Jamba, Qwen3.5)) (Lieber et al., 2024, sec. 2).

Qué muestra. GQA divide la caché por un factor fijo; la atención lineal y los SSM cambian, en cambio, su ritmo de crecimiento. Que compartir claves y valores cueste tan poco sugiere (es una lectura nuestra, no de los autores) que muchas cabezas consultan el mismo índice del contexto con preguntas distintas: lo que varía entre ellas es más qué buscan que cómo se archiva lo leído.

Fuentes

Ainslie, J., Lee-Thorp, J., de Jong, M., Zemlyanskiy, Y., Lebrón, F., & Sanghai, S. (2023). GQA: Training generalized multi-query transformer models from multi-head checkpoints. In H. Bouamor, J. Pino, & K. Bali (Eds.), Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (pp. 4895–4901). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.emnlp-main.298 §

Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §

Jiang, A. Q., Sablayrolles, A., Roux, A., Mensch, A., Savary, B., Bamford, C., Chaplot, D. S., de Las Casas, D., Bou Hanna, E., Bressand, F., Lengyel, G., Bour, G., Lample, G., Renard Lavaud, L., Saulnier, L., Lachaux, M.-A., Stock, P., Subramanian, S., Yang, S., . . . El Sayed, W. (2024). Mixtral of experts (arXiv:2401.04088). arXiv. https://doi.org/10.48550/arXiv.2401.04088 §

Lieber, O., Lenz, B., Bata, H., Cohen, G., Osin, J., Dalmedigos, I., Safahi, E., Meirom, S., Belinkov, Y., Shalev-Shwartz, S., Abend, O., Alon, R., Asida, T., Bergman, A., Glozman, R., Gokhman, M., Manevich, A., Ratner, N., Rozen, N., . . . Shoham, Y. (2024). Jamba: A hybrid Transformer-Mamba language model (arXiv:2403.19887). arXiv. https://doi.org/10.48550/arXiv.2403.19887 §

Shazeer, N. (2019). Fast transformer decoding: One write-head is all you need (arXiv:1911.02150). arXiv. https://doi.org/10.48550/arXiv.1911.02150 §

Touvron, H., Martin, L., Stone, K., Albert, P., Almahairi, A., Babaei, Y., Bashlykov, N., Batra, S., Bhargava, P., Bhosale, S., Bikel, D., Blecher, L., Canton Ferrer, C., Chen, M., Cucurull, G., Esiobu, D., Fernandes, J., Fu, J., Fu, W., . . . Scialom, T. (2023). Llama 2: Open foundation and fine-tuned chat models (arXiv:2307.09288). arXiv. https://doi.org/10.48550/arXiv.2307.09288 §