ElemedexEnciclopedia de bolsillo de arquitecturas de IA
N.º 011

Perceptrón multicapa (retropropagación)

MLP · perceptrón multicapa

Capa oculta

Esconde una capa entre lo que ve y lo que responde, y nadie le dicta qué guardar ahí: lo descubre corrigiéndose hacia atrás, error por error. Resolvió el XOR que había humillado a su antepasado, y con eso le alcanzó para reabrir una guerra filosófica que todavía no terminó.

Altura
1–3 capas ocultas (1986–década de 1990)
Peso
≈ 2,5 KB · ≈ 1,6 MB (fp32)
Parámetros
≈ 600 (árboles genealógicos, 1986) · ≈ 407 k (MNIST, Chollet)
Contexto
sin secuencia: un vector de entrada
Datos de entrenamiento
100 relaciones (1986) · 60.000 dígitos (MNIST)
Año
1986
Generación
2 · Aprendizaje automático clásico
Creadores
Rumelhart, Hinton & Williams (UC San Diego · Carnegie Mellon)
Clase
Arquitectura

Estadísticas base

Total
102

Escalas ordinales y aproximadas, pensadas para comparar especies entre sí; los números duros están en la ficha.

Debilidades

  • El descenso por gradiente solo garantiza un mínimo local.
  • Con capas ocultas es opaco: sus pesos no se leen como reglas.
  • Si tiene más capacidad de la necesaria, memoriza en lugar de generalizar.
  • Con muchas capas sigmoides, el gradiente se desvanece y las capas bajas dejan de aprender.

Hábitat

Nació en laboratorios de ciencia cognitiva de San Diego y Pittsburgh, entrenado con simetrías y árboles genealógicos; poco después, en otros laboratorios, aprendió a pronunciar inglés. Hoy vive en todas partes sin que nadie lo nombre: en cada clasificador tabular y dentro de cada bloque de un transformer.

Movimientos

Habilidades

Capas ocultas
Unidades que no tocan ni la entrada ni la salida y aprenden por su cuenta rasgos intermedios que nadie les especificó.
Activación suave
Reemplaza el escalón del perceptrón por una curva derivable (sigmoide, hoy ReLU), de modo que el error tiene gradiente.
Reparto de la culpa
La regla de la cadena distribuye el error entre todos los pesos, capa por capa, desde la salida hacia atrás.

Anatomía

retropropagación∂E/∂wx₁x₂x₃x₄h₁h₂h₃h₄h₅h′₁h′₂h′₃y₁y₂Error: ½ (y − t)²

Un MLP con dos capas ocultas. Cada fila está totalmente conectada con la siguiente (una matriz de pesos por par de capas) y cada unidad oculta aplica una activación no lineal. La pasada hacia adelante produce y; la pérdida lo compara con la respuesta correcta t, y la retropropagación envía el gradiente del error hacia atrás para ajustar todos los pesos.

Cadena evolutiva

011 Perceptrón multicapa (retropropagación)

Un perceptrón multicapa (MLP, por multilayer perceptron) es una red neuronal cuyas neuronas artificiales se organizan en capas: cada unidad recibe las salidas de todas las unidades de la capa anterior, y entre la entrada y la salida hay al menos una capa «oculta», llamada así porque no tiene contacto directo con el entorno (Witten et al., 2017, p. 263). Lo hizo famoso su método de entrenamiento: la retropropagación del error.

Cómo funciona

Cada unidad calcula una suma ponderada de sus entradas y le aplica una función de activación. El perceptrón clásico usaba un escalón (0 o 1); el MLP lo reemplaza por una curva suave, la sigmoide, porque el escalón no es derivable y sin derivadas no hay gradiente (Witten et al., 2017, p. 264). Hoy se prefiere la ReLU, pero el requisito es el mismo: una no linealidad. Sin ella, apilar capas no sirve de nada, porque la composición de transformaciones lineales es otra transformación lineal: la red «profunda» sería un modelo lineal disfrazado (Chollet, 2021, sec. 2.3.5).

El entrenamiento es supervisado. Se elige una función de pérdida derivable (en los ochenta, el error cuadrático) y se corrige cada peso un pasito en la dirección que más la reduce: descenso por gradiente (Witten et al., 2017, pp. 265–266). El problema es saber cuánta culpa le corresponde a un peso escondido en una capa intermedia, cuya salida «correcta» nadie conoce. La retropropagación lo resuelve con la regla de la cadena: deriva el error respecto de la salida y propaga esa derivada hacia atrás, capa por capa, multiplicando derivadas locales (Witten et al., 2017, pp. 267–268; Chollet, 2021, sec. 2.4.4). Chollet propone una imagen: dos clases de datos son como dos hojas de papel arrugadas juntas en una bola, y cada capa las desarruga un poco hasta que un plano puede separarlas (2021, sec. 2.3.6).

Qué cambió

Frente al Perceptrón, la diferencia no está en los materiales sino en el aprendizaje. Un perceptrón solo no puede representar el XOR, porque sus clases no se separan con una recta. Tres unidades sí pueden: una computa OR, otra NAND y la tercera la conjunción de ambas. En general, cualquier fórmula de la lógica proposicional puede traducirse a un MLP, que tiene así el mismo poder expresivo que un árbol de decisión (Witten et al., 2017, pp. 262–263): un eco directo de las redes de McCulloch y Pitts. Que una capa extra resolvía el XOR ya se sabía en tiempos de Rosenblatt; lo que faltaba era una regla para entrenarla (Buckner, 2024, p. 120).

Esa regla tiene una historia enredada. La técnica de diferenciación en la que se apoya fue publicada por Seppo Linnainmaa en 1970, Paul Werbos propuso aplicarla a redes neuronales en 1974, y la popularizó en 1986 un grupo de científicos cognitivos que modelaban cómo aprende la gente (Mollick, 2026). El artículo de Rumelhart et al. (1986) subrayaba que las unidades ocultas terminan representando rasgos importantes del dominio (1986, p. 533). En su ejemplo más célebre, una red aprendía dos árboles genealógicos isomorfos, uno inglés y otro italiano; entrenada con 100 de las 104 relaciones posibles, acertaba las 4 restantes, y algunas unidades ocultas codificaban la nacionalidad, la generación o la rama familiar, rasgos que no figuraban explícitamente en la entrada (1986, pp. 534–535). Poco después se probó que una sola capa oculta alcanza para aproximar cualquier función continua (Cybenko, 1989; Hornik, 1991), aunque una red poco profunda puede necesitar una cantidad enorme de unidades para lo que una más profunda representa de manera compacta (Witten et al., 2017, p. 461).

La ficha técnica usa estos MLP clásicos: la red genealógica tenía unos 600 pesos (cálculo propio a partir de su figura 3); la red densa con la que Chollet abre su libro, para los dígitos de MNIST, unos 407.000 (2021, sec. 2.1).

Límites

El descenso por gradiente solo garantiza un mínimo local, y las superficies de error de un MLP suelen tener muchos (Witten et al., 2017, p. 266), aunque Rumelhart y sus colegas observaban que en la práctica rara vez era grave (1986, p. 535). Con más capacidad de la necesaria, sobreajusta. La arquitectura se elige por ensayo y error, y una red con capas ocultas es opaca: una caja negra (Witten et al., 2017, pp. 263, 269). Con muchas capas sigmoides aparece además el gradiente que se desvanece.

Hacia fines de los noventa, las SVM lo desplazaron (Chollet, 2021, sec. 1.2.2). Pero nunca se fue: sus descendientes son Red convolucional (LeNet) y Red recurrente simple (Elman), y dentro de cada Transformer sigue trabajando, con el nombre de bloque bloque feedforward.

Fuentes