ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Piezas de arquitectura

MT077

Convolución

También: filtro convolucional, capa convolucional

En inglés: Convolution

Operación que desliza un pequeño filtro de pesos aprendidos por toda la entrada y registra dónde aparece un patrón local, reutilizando los mismos pesos en cada lugar.

Una convolución recorre la entrada (una imagen, una señal de audio) con un filtro pequeño: en cada posición, multiplica los valores de un vecindario por los pesos del filtro y los suma. En una dimensión:

y[n] = Σₖ w[k] · x[n + k], con k entre −K y K

(Witten et al., 2017, p. 440). El resultado es un «mapa de rasgos» que indica dónde se detectó el patrón (un borde vertical, una curva). Como el mismo filtro se aplica en todas partes, los pesos se comparten: una red convolucional tiene muchísimos menos parámetros que una totalmente conectada, y cada neurona responde solo a su «campo receptivo» (Witten et al., 2017, pp. 438–440; Chollet, 2021, sec. 8.1.1). (Técnicamente, lo que se calcula es una correlación cruzada, pero el nombre quedó.)

Genealogía. Hubel y Wiesel encontraron en la corteza visual del gato células «simples», sensibles a un borde en una posición, y «complejas», sensibles al mismo borde en posiciones cercanas (Hubel y Wiesel, 1962). Fukushima trasladó esa división a su Neocognitrón: nodos que convolucionan y nodos que agregan (Fukushima, 1980; Buckner, 2024, pp. 122–124). Siguieron Red convolucional (LeNet), que leía cheques, y AlexNet, que en 2012 inauguró el auge del aprendizaje profundo. También son convolucionales las redes de política y valor de AlphaGo (Silver et al., 2016) y la U-Net de los modelos de difusión (Ho et al., 2020, sec. 4). Vision Transformer (ViT), en cambio, prescinde casi por completo de ellas.

Un sesgo incorporado. Convolución, pooling y conectividad local implementan dos supuestos: que las dependencias entre rasgos suelen ser locales y que un rasgo significa lo mismo dondequiera que aparezca (invariancia a la traslación) (Buckner, 2024, p. 130). Gary Marcus señaló esto como conocimiento innato de contrabando; Buckner (2024) responde que es un sesgo de dominio general, aplicable a cualquier dato con estructura local, y por lo tanto compatible con un empirismo moderado (2024, pp. 20–21) (ver empirismo vs innatismo).

Abstracción. Para Buckner (2024), los filtros convolucionales realizan una «abstracción como composición» (arman rasgos complejos con partes simples) y el pooling una «abstracción como sustracción»; apilados, forman «sándwiches» cada vez más abstractos (2024, p. 127). Ver abstracción.

Fuentes

  • Buckner, C. J. (2024). From deep learning to rational machines: What the history of philosophy can teach us about the future of artificial intelligence. Oxford University Press. https://doi.org/10.1093/oso/9780197653302.001.0001 §
  • Chollet, F. (2021). Deep learning with Python (2nd ed.). Manning Publications. §
  • Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36(4), 193–202. https://doi.org/10.1007/BF00344251 §
  • Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems (Vol. 33, pp. 6840–6851). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2020/hash/4c5bcfec8584af0d967f1ab10179ca4b-Abstract.html §
  • Hubel, D. H., & Wiesel, T. N. (1962). Receptive fields, binocular interaction and functional architecture in the cat’s visual cortex. The Journal of Physiology, 160(1), 106–154. https://doi.org/10.1113/jphysiol.1962.sp006837 §
  • LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. https://doi.org/10.1109/5.726791 §
  • Silver, D., Huang, A., Maddison, C. J., Guez, A., Sifre, L., van den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T., & Hassabis, D. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587), 484–489. https://doi.org/10.1038/nature16961 §
  • Witten, I. H., Frank, E., Hall, M. A., & Pal, C. J. (2017). Data mining: Practical machine learning tools and techniques (4th ed.). Morgan Kaufmann. https://doi.org/10.1016/C2015-0-02071-8 §