ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Piezas de arquitectura

MT099

Pooling (submuestreo)

También: max-pooling, agregación, submuestreo

En inglés: Pooling

Operación que resume una pequeña región de un mapa de rasgos con un solo valor (el máximo o el promedio), reduciendo resolución y ganando tolerancia a pequeños desplazamientos.

Después de una convolución, el mapa de rasgos dice dónde se detectó cada patrón. El pooling lo resume por zonas: en max-pooling de 2×2, cada bloque de cuatro valores se reemplaza por el mayor.

1 3 | 0 2
2 0 | 1 1        max-pooling 2×2        3 2
----+----       ──────────────▶         4 5
4 1 | 5 0
0 2 | 3 1

El mapa queda cuatro veces más chico y, sobre todo, menos sensible a la posición exacta: si se usa el máximo, un rasgo cuenta como presente si fue detectado en cualquier lugar de la zona (Witten et al., 2017, p. 438; Chollet, 2021, sec. 8.1.2). Al entrenar, el error se devuelve solo a la unidad «ganadora» de cada zona (Witten et al., 2017, p. 444).

Origen. Es la versión artificial de las células «complejas» de Hubel y Wiesel, que responden a un mismo borde en posiciones cercanas. El Neocognitrón de Fukushima promediaba; hoy predomina el máximo (Buckner, 2024, pp. 124–126). Está en Red convolucional (LeNet) y en AlexNet.

Abstracción por sustracción. Buckner (2024) lee el pooling como una forma de abstracción en la tradición de Locke y Berkeley: descarta la variación irrelevante (dónde está el borde, en qué fuente está escrita la letra) y se queda con lo que importa para la categoría. Alternado con la convolución, que compone, permite que la red aprenda qué transformaciones debe ignorar (2024, pp. 127–129).

En el lenguaje. El término reaparece con otro sentido: agregar los vectores de todos los tokens de una oración en uno solo. Sentence-BERT usa por defecto el promedio de los vectores de salida (Reimers y Gurevych, 2019, sec. 3); BERT usa el vector del token especial [CLS]. Los transformers no suelen hacer pooling entre capas; Buckner (2024) sugiere que la atención, al concentrarse en lo relevante, logra la sustracción por otros medios (2024, p. 127, n. 9).

Lo que el pooling gana en invariancia lo paga en información de posición: una red que agrega demasiado puede registrar que hay ojos y boca sin registrar bien cómo están dispuestos. Cuánta invariancia conviene es, otra vez, una cuestión de sesgo inductivo.

Fuentes

  • Buckner, C. J. (2024). From deep learning to rational machines: What the history of philosophy can teach us about the future of artificial intelligence. Oxford University Press. https://doi.org/10.1093/oso/9780197653302.001.0001 §
  • Chollet, F. (2021). Deep learning with Python (2nd ed.). Manning Publications. §
  • Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 3982–3992). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-1410 §
  • Witten, I. H., Frank, E., Hall, M. A., & Pal, C. J. (2017). Data mining: Practical machine learning tools and techniques (4th ed.). Morgan Kaufmann. https://doi.org/10.1016/C2015-0-02071-8 §