Capacidad de un modelo de recibir o producir más de un tipo de datos (texto, imágenes, audio, acciones) y de relacionarlos entre sí.
Cada tipo de datos es una «modalidad»: texto, imagen, audio, video, acciones de un robot. Un
modelo multimodal maneja más de una; puede recibir una modalidad sin ser capaz de generarla
(Alammar y Grootendorst, 2024, p. 259).
La receta común: todo se vuelve vectores. Un Transformer no sabe qué es una
imagen; sabe procesar secuencias de vectores. La multimodalidad consiste, en gran medida, en
convertir cada modalidad en «tokens» que vivan en un espacio compartido:
- Vision Transformer (ViT) corta una imagen en parches de 16×16 píxeles y los trata como palabras
(Alammar y Grootendorst, 2024, pp. 261–262).
- CLIP entrena juntos un codificador de texto y uno de imágenes para que una foto y
su epígrafe caigan cerca en el mismo espacio (aprendizaje
contrastivo) (Alammar y Grootendorst, 2024, pp. 265–267).
- Los modelos que «ven» y conversan conectan un codificador de imágenes congelado con un
modelo de lenguaje, mediante un puente que traduce lo visual a una especie de prompt
blando (Alammar y Grootendorst, 2024, pp. 273–277). GPT-4 acepta imágenes como entrada
(OpenAI, 2023).
- Gato serializa texto, imágenes y acciones de joystick en una sola secuencia
(Reed et al., 2022).
- La difusión latente genera imágenes condicionadas por texto mediante
atención cruzada (Rombach et al., 2022) (Modelo de difusión).
Los autores del transformer ya anunciaban en 2017 que querían extenderlo a entradas y salidas
distintas del texto (Vaswani et al., 2017, sec. 7).
Un ángulo filosófico. La multimodalidad suele presentarse como respuesta al
problema del anclaje: si un modelo aprende solo de texto, sus símbolos
no tocan el mundo (Harnad, 1990; Bender y Koller, 2020); si además ve imágenes, ¿ya lo tocan?
Hay razones para la cautela. Una imagen sigue siendo un dato, no una interacción con las
cosas, y emparejar fotos con epígrafes enseña correlaciones entre dos formas de
representación. Queda abierto si eso basta para la referencia o si hace falta acción,
percepción situada o práctica social.
Fuentes
- Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
- Bender, E. M., & Koller, A. (2020). Climbing towards NLU: On meaning, form, and understanding in the age of data. In D. Jurafsky, J. Chai, N. Schluter, & J. Tetreault (Eds.), Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 5185–5198). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.463 §
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. In 9th International Conference on Learning Representations (ICLR 2021). https://openreview.net/forum?id=YicbFdNTTy §
- Harnad, S. (1990). The symbol grounding problem. Physica D: Nonlinear Phenomena, 42(1–3), 335–346. https://doi.org/10.1016/0167-2789(90)90087-6 §
- OpenAI. (2023). GPT-4 technical report (arXiv:2303.08774). arXiv. https://doi.org/10.48550/arXiv.2303.08774 §
- Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning (pp. 8748–8763). PMLR. https://proceedings.mlr.press/v139/radford21a.html §
- Reed, S., Zolna, K., Parisotto, E., Gómez Colmenarejo, S., Novikov, A., Barth-Maron, G., Gimenez, M., Sulsky, Y., Kay, J., Springenberg, J. T., Eccles, T., Bruce, J., Razavi, A., Edwards, A., Heess, N., Chen, Y., Hadsell, R., Vinyals, O., Bordbar, M., & de Freitas, N. (2022). A generalist agent. Transactions on Machine Learning Research. https://openreview.net/forum?id=1ikK0kHjvj §
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 10674–10685). IEEE. https://doi.org/10.1109/CVPR52688.2022.01042 §
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (Vol. 30). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html §
