La red simple recurrente de Jeffrey Elman es una red neuronal que lee una secuencia de a un elemento por vez y que, en cada paso, recibe además una copia de su propio estado anterior. Con ese truco mínimo (un bucle) el tiempo deja de ser una dimensión espacial de la entrada y queda representado implícitamente, por el efecto que tiene sobre el procesamiento (Elman, 1990, pp. 180–182).
Cómo funciona
La arquitectura parte de un perceptrón multicapa con una capa oculta y le agrega un banco de unidades de contexto, tantas como unidades ocultas. En el instante t, la capa oculta recibe la entrada actual y el contenido de las unidades de contexto, que es exactamente el estado oculto del instante t − 1. Las conexiones de copia valen 1 y no se entrenan; los demás pesos se ajustan con retropropagación común (Elman, 1990, pp. 182–183). La idea venía de una red de Michael I. Jordan (1986), el científico cognitivo y no el basquetbolista, que realimentaba la salida en lugar del estado oculto.
Chollet describe cualquier red recurrente como un bucle que reutiliza en cada iteración lo que calculó en la anterior (Chollet, 2021, sec. 10.3); la de Elman es la versión más austera de esa recurrencia. Como los mismos pesos se aplican en cada paso, la red procesa secuencias de cualquier longitud con un número fijo de parámetros.
Qué encontró
El artículo se volvió un clásico por sus simulaciones, todas con la misma tarea: predecir el elemento siguiente.
- Palabras sin espacios. Con un flujo de letras sin separadores, el error de predicción subía al comienzo de cada palabra y bajaba a medida que la palabra se volvía predecible: los picos de error marcaban las fronteras léxicas, aunque de manera graduada y con ambigüedades (Elman, 1990, pp. 191–193).
- Categorías léxicas. Un generador produjo 10.000 oraciones de dos o tres palabras con 29 palabras distintas, codificadas como vectores ortogonales que no decían nada sobre su clase. Una red con 150 unidades ocultas aprendió a predecir la palabra siguiente; después Elman promedió los estados ocultos de cada palabra y los sometió a un agrupamiento jerárquico. El árbol separaba verbos de sustantivos, transitivos de intransitivos, animados de inanimados, humanos de animales y comestibles de rompibles (Elman, 1990, pp. 195–200).
- Una palabra nueva. Si en el corpus se reemplazaba man por una palabra inventada, zog, la red, sin aprender nada más, le asignaba una representación ubicada donde había estado man (Elman, 1990, p. 201).
Elman subrayaba que esas categorías eran blandas e implícitas: regiones de un espacio, no símbolos con nombre. Y como cada estado oculto representa una palabra en contexto, la red ofrece una manera de distinguir entre tipos y ejemplares (type/token) (Elman, 1990, pp. 200–203). Él mismo anotó una advertencia: promediar estados puede producir agrupamientos artificiales, así que conviene verificarlos con ejemplares individuales (1990, p. 199, n. 6).
Límites
La memoria es corta. En la red original el error no viaja hacia atrás en el tiempo (la copia es fija), y cuando estas redes se entrenaron con retropropagación a través del tiempo apareció el gradiente que se desvanece: la señal de error se encoge o explota exponencialmente con la distancia, y las dependencias largas se vuelven casi imposibles de aprender, como analizaron Hochreiter (1991) y Bengio et al. (1994) (Hochreiter y Schmidhuber, 1997, sec. 3). Por eso la estadística de contexto de esta ficha es baja. Además, leer de a un paso impide paralelizar el entrenamiento (Alammar y Grootendorst, 2024, p. 14).
Su descendencia es enorme: la LSTM le agregó compuertas; las redes recurrentes codificador–decodificador tradujeron textos antes del transformer (Alammar y Grootendorst, 2024, pp. 11–12); y arquitecturas recientes como RWKV o Mamba vuelven a apostar por la recurrencia (2024, p. 24).