ElemedexEnciclopedia de bolsillo de arquitecturas de IA
N.º 016

Red convolucional (LeNet)

LeNet-5 · red convolucional (CNN)

Filtro compartido

Mira el mundo por una ventanita de 5×5 píxeles y usa la misma ventanita en todas partes: si aprendió a ver un trazo en una esquina, lo ve en cualquier lado. Durante años leyó millones de cheques por día en bancos estadounidenses sin que los clientes supieran su nombre.

Altura
7 (sin contar la entrada)
Peso
≈ 240 KB (fp32)
Parámetros
≈ 60.000 (340.908 conexiones)
Contexto
sin secuencia: una imagen de 32×32
Datos de entrenamiento
MNIST: 60.000 dígitos (+ 10.000 de prueba)
Año
1998
Generación
2 · Aprendizaje automático clásico
Creadores
LeCun, Bottou, Bengio & Haffner (AT&T Labs)
Clase
Arquitectura

Estadísticas base

Total
122

Escalas ordinales y aproximadas, pensadas para comparar especies entre sí; los números duros están en la ficha.

Debilidades

  • Necesita caracteres ya centrados y normalizados; no busca objetos en una escena.
  • Aprende una tarea estrecha (diez dígitos) sobre imágenes pequeñas en escala de grises.
  • Sus supuestos (localidad, invariancia por traslación) ayudan en imágenes y estorban donde no se cumplen.
  • Necesita muchos más ejemplos que un humano para aprender las mismas categorías.

Hábitat

Creció en los Bell Labs con dígitos escritos por empleados del censo y estudiantes secundarios estadounidenses (las bases del NIST) y trabajó leyendo cheques para los sistemas de NCR. Hoy vive en cada curso de aprendizaje profundo, porque MNIST, el conjunto que ayudó a armar, sigue siendo el «hola mundo» del campo.

Movimientos

Habilidades

Campos receptivos locales
Cada unidad mira solo una zona pequeña de la capa anterior (5×5 en LeNet-5), como las neuronas de la corteza visual.
Pesos compartidos
Todas las unidades de un mapa usan el mismo filtro: un detector útil en un lugar se aplica en todos, y 340.908 conexiones quedan en unos 60.000 pesos.
Submuestreo
Reduce la resolución y tolera pequeños desplazamientos: importa que haya un trazo por aquí, no el píxel exacto.

Anatomía

LeNet-5 según LeCun et al. (1998). Dos rondas de convolución (filtros de 5×5 compartidos) y submuestreo (2×2) reducen una imagen de 32×32 a 16 mapas de 5×5; capas totalmente conectadas deciden entre los diez dígitos. «6@28×28» significa seis mapas de rasgos de 28×28. C5 es formalmente convolucional, pero con mapas de 1×1 equivale a una capa densa.

Cadena evolutiva

016 Red convolucional (LeNet)
  • GPU, datos a escala ImageNet, ReLU y dropout018 AlexNet

Una red convolucional (CNN) es una red neuronal feedforward cuyas primeras capas no conectan cada unidad con toda la entrada: pasan un mismo filtro pequeño por toda la imagen y después reducen la resolución. LeNet-5, descrita por LeCun, Bottou, Bengio y Haffner en 1998, es el ejemplar canónico: una red de siete capas que lee dígitos manuscritos (LeCun et al., 1998).

Cómo funciona

Según sus autores, la arquitectura combina tres ideas: campos receptivos locales, pesos compartidos y submuestreo espacial (LeCun et al., 1998, sec. II.A).

  • Convolución. Cada unidad mira una ventana de 5×5 píxeles, y todas las unidades de un «mapa de rasgos» comparten los mismos 25 pesos: detectan el mismo rasgo (un borde, una esquina, un final de trazo) en cualquier posición. Es como pasar un esténcil sobre la imagen y anotar dónde encaja (Buckner, 2024, p. 125).
  • Submuestreo. Cada unidad de la capa siguiente resume una zona de 2×2 del mapa anterior. La resolución cae a la mitad y la red tolera pequeños desplazamientos: importa que haya un borde por aquí, no en qué píxel exacto (Witten et al., 2017, p. 438).
  • Clasificador. Tras dos rondas de convolución y submuestreo, capas totalmente conectadas (un MLP común) deciden el dígito.

Una imagen de 32×32 pasa por C1 (6 mapas de 28×28), S2 (6 de 14×14), C3 (16 de 10×10), S4 (16 de 5×5), C5 (120 unidades), F6 (84) y una salida de 10 unidades. Hay 340.908 conexiones pero solo unos 60.000 parámetros entrenables, porque los pesos se comparten (LeCun et al., 1998, secs. II.A–B). Todo, filtros incluidos, se ajusta con retropropagación: la red fabrica su propio extractor de atributos (LeCun et al., 1998, sec. II.A; Witten et al., 2017, p. 441). Antes, las soluciones para estos dígitos usaban atributos fijados a mano, como la cantidad de bucles del trazo (Chollet, 2021, sec. 5.4.2).

Qué cambió

Un MLP común trata la imagen como una lista de píxeles sin geometría: tendría que aprender por separado a reconocer un trazo en cada posición. La CNN incorpora de entrada dos supuestos: que los rasgos relevantes son locales y que un detector útil en un lugar lo es en todos. Es un sesgo inductivo (Chollet habla de priors de arquitectura) que ahorra parámetros y datos (Chollet, 2021, sec. 5.3.2; Buckner, 2024, p. 130).

La genealogía es neurocientífica. Hubel y Wiesel (1962) distinguieron en la corteza visual del gato células «simples», sensibles a un borde en una posición, y «complejas», que responden al mismo rasgo con cierta invariancia espacial. Fukushima llevó esa división a su Neocognitrón (Fukushima, 1980), que alternaba convolución y submuestreo pero no tenía un aprendizaje supervisado global como la retropropagación (LeCun et al., 1998, sec. II.A; Buckner, 2024, pp. 122–124). En 1989 LeCun unió ambas cosas en los Bell Labs, y esa red leyó códigos postales para el correo de EE. UU. (LeCun et al., 1989; Chollet, 2021, sec. 1.2.2). LeNet-5 es su versión madura.

En MNIST (60.000 dígitos de entrenamiento, 10.000 de prueba), LeNet-5 cometió un 0,95 % de errores, y un 0,8 % si se entrenaba además con versiones deformadas de las imágenes (LeCun et al., 1998, sec. III.B). Frente a otros métodos, como los k vecinos más cercanos o las SVM (Witten et al., 2017, p. 421):

Clasificador (MNIST) Error de prueba
Lineal 12,0 %
k vecinos más cercanos 5,0 %
MLP con 300 unidades ocultas 4,7 %
SVM con núcleo gaussiano 1,4 %
LeNet-5 0,95 %

Entrenarla llevó dos o tres días de CPU (LeCun et al., 1998, sec. III.D), y desde 1996 un sistema construido sobre ella leyó millones de cheques por día en bancos estadounidenses (1998, sec. X).

Límites

LeNet-5 necesita caracteres ya centrados y normalizados, trabaja con imágenes pequeñas en escala de grises y aprende una sola tarea. Las CNN tuvieron que esperar a ImageNet y a las GPU para llegar a fotografías reales con AlexNet (Witten et al., 2017, p. 462). Aun entonces, modelan como mucho los primeros cien milisegundos de la visión, sin recurrencia ni control de arriba hacia abajo (Buckner, 2024, p. 124), y necesitan muchísimos más ejemplos que una persona (2024, pp. 131–132).

Fuentes

  • Buckner, C. J. (2024). From deep learning to rational machines: What the history of philosophy can teach us about the future of artificial intelligence. Oxford University Press. https://doi.org/10.1093/oso/9780197653302.001.0001 §
  • Chollet, F. (2021). Deep learning with Python (2nd ed.). Manning Publications. §
  • Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36(4), 193–202. https://doi.org/10.1007/BF00344251 §
  • Hubel, D. H., & Wiesel, T. N. (1962). Receptive fields, binocular interaction and functional architecture in the cat’s visual cortex. The Journal of Physiology, 160(1), 106–154. https://doi.org/10.1113/jphysiol.1962.sp006837 §
  • LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W., & Jackel, L. D. (1989). Backpropagation applied to handwritten zip code recognition. Neural Computation, 1(4), 541–551. https://doi.org/10.1162/neco.1989.1.4.541 §
  • LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. https://doi.org/10.1109/5.726791 §
  • Witten, I. H., Frank, E., Hall, M. A., & Pal, C. J. (2017). Data mining: Practical machine learning tools and techniques (4th ed.). Morgan Kaufmann. https://doi.org/10.1016/C2015-0-02071-8 §