Unidad que se repite decenas de veces en un transformer: una capa de atención y una red feedforward, cada una con conexión residual y normalización.
Un transformer es, sobre todo, una pila de bloques idénticos en forma (con pesos distintos).
Cada bloque tiene dos subcapas: (1) atención multicabezal, que mueve
información entre posiciones, y (2) una red bloque feedforward, que procesa cada posición por
separado (Vaswani et al., 2017, sec. 3.1; Alammar y Grootendorst, 2024, p. 86). Cada subcapa va envuelta en una
conexión residual y una normalización de
capa. En la versión original:
x ← LayerNorm(x + Atención(x)), x ← LayerNorm(x + FFN(x))
Todas las subcapas devuelven vectores de la misma dimensión que reciben (512 en el original),
y eso es lo que permite apilarlas (Vaswani et al., 2017, sec. 3.1). Los bloques del
decodificador original agregan una tercera subcapa de
atención cruzada.
Cuántos. Seis por lado en el Transformer; 12 en GPT-1 y BERT-base;
96 en GPT-3 (Radford et al., 2018, sec. 4.1; Devlin et al., 2019, p. 4173; Brown et al., 2020, sec. 2.1).
En los diagramas del Pokédex, ese número es la «altura» del ejemplar.
Cómo cambió. El bloque de 2017 sobrevive casi intacto, con retoques: la normalización se
mueve antes de cada subcapa (pre-norm: x ← x + Atención(LN(x))), lo que estabiliza el
entrenamiento; LayerNorm se reemplaza por RMSNorm; la ReLU de la red feedforward, por SwiGLU;
y la atención incorpora posiciones rotatorias y consultas agrupadas
(Alammar y Grootendorst, 2024, pp. 101–102; Touvron, Lavril et al., 2023, sec. 2.2). En los modelos de
mezcla de expertos, la red feedforward se multiplica en varios
«expertos» (Mezcla de expertos (Mixtral)).
Cómo pensarlo. Hay dos lecturas complementarias. Una es la de una cadena de montaje:
cada bloque transforma la representación y la pasa al siguiente, como los «sándwiches de
abstracción» (abstraction sandwiches) que Buckner (2024) describe para las redes convolucionales
(2024, p. 127). La otra, preferida por la
interpretabilidad mecanicista, ve un único
flujo residual que atraviesa la pila y del que cada subcapa lee y en el
que escribe (Elhage et al., 2021). La primera sugiere jerarquía; la segunda, un espacio de trabajo
compartido. Ninguna es obligatoria: son dos maneras de mirar la misma suma de matrices.
Fuentes
- Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., . . . Amodei, D. (2020). Language models are few-shot learners. In Advances in Neural Information Processing Systems (Vol. 33, pp. 1877–1901). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html §
- Buckner, C. J. (2024). From deep learning to rational machines: What the history of philosophy can teach us about the future of artificial intelligence. Oxford University Press. https://doi.org/10.1093/oso/9780197653302.001.0001 §
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In J. Burstein, C. Doran, & T. Solorio (Eds.), Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 4171–4186). Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1423 §
- Elhage, N., Nanda, N., Olsson, C., Henighan, T., Joseph, N., Mann, B., Askell, A., Bai, Y., Chen, A., Conerly, T., DasSarma, N., Drain, D., Ganguli, D., Hatfield-Dodds, Z., Hernandez, D., Jones, A., Kernion, J., Lovitt, L., Ndousse, K., . . . Olah, C. (2021). A mathematical framework for transformer circuits. Transformer Circuits Thread. https://transformer-circuits.pub/2021/framework/index.html §
- Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training [Technical report]. OpenAI. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf §
- Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M.-A., Lacroix, T., Rozière, B., Goyal, N., Hambro, E., Azhar, F., Rodriguez, A., Joulin, A., Grave, E., & Lample, G. (2023). LLaMA: Open and efficient foundation language models (arXiv:2302.13971). arXiv. https://doi.org/10.48550/arXiv.2302.13971 §
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (Vol. 30). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html §
