Una red de Hopfield es una red neuronal recurrente en la que cada unidad está conectada con todas las demás y cuya dinámica la arrastra, paso a paso, hacia estados estables. Esos estados son sus recuerdos. John Hopfield la presentó en 1982 como un modelo físico de memoria «direccionable por contenido»: un sistema que recupera un recuerdo entero a partir de una parte suficiente de él (Hopfield, 1982).
Cómo funciona
Cada unidad es binaria, como la neurona de McCulloch y Pitts (Hopfield usó 0 y 1; hoy suele escribirse ±1). En momentos al azar, una unidad suma las señales que le llegan, hᵢ = Σⱼ wᵢⱼ sⱼ, y se enciende si la suma supera el umbral. Las actualizaciones son asincrónicas, sin reloj global (Hopfield, 1982, p. 2555).
Para guardar un conjunto de patrones, los pesos se fijan de una sola vez: wᵢⱼ suma, sobre todos los patrones, el producto de los valores de las unidades i y j, con wᵢᵢ = 0 (1982, p. 2555). Es la idea de Hebb de que las neuronas que se activan juntas refuerzan su conexión (Hebb, 1949; Buckner, 2024, p. 183). No hay descenso por gradiente ni retropropagación: aprender es sumar correlaciones.
Lo decisivo es que, si los pesos son simétricos (wᵢⱼ = wⱼᵢ), la cantidad E = −½ Σᵢⱼ wᵢⱼ sᵢ sⱼ nunca aumenta con una actualización. La red tiene que detenerse en un mínimo local de esa «energía», y Hopfield notó que el sistema es isomorfo a un modelo de Ising, el de los imanes, con los pesos en el papel del acoplamiento entre espines (1982, p. 2556). Los patrones guardados son valles del paisaje de energía (atractores): si la red arranca cerca de uno, cae en él. El ejemplo del artículo es una referencia bibliográfica, «H. A. Kramers & G. H. Wannier Phys. Rev. 60, 252 (1941)», que debería recuperarse a partir de «& Wannier, (1941)» o incluso de «Vannier, (1941)» (1982, p. 2554).
La capacidad es modesta: unos 0,15 N patrones para N unidades antes de que el recuerdo se vuelva muy defectuoso (1982, p. 2556); el análisis posterior con la física de los vidrios de espín la fijó en ≈ 0,138 N (Ramsauer et al., 2021, sec. 1). Si se sigue cargando la red, no olvida de a poco: todos los recuerdos se vuelven irrecuperables (Hopfield, 1982, p. 2557).
Qué cambió
La unidad es casi la de 1943; lo nuevo es el cableado. Hopfield se distinguía del perceptrón, con conexiones solo «hacia adelante» y neuronas sincronizadas: «all our interesting results arise as consequences of the strong back-coupling» (1982, p. 2555). La computación deja de ser una secuencia de instrucciones y pasa a ser la relajación de un sistema físico, una propiedad colectiva o emergente. Con David Tank, Hopfield usó una versión analógica de la red para encontrar buenas soluciones al problema del viajante (Hopfield y Tank, 1985).
Su pariente estocástico es la máquina de Boltzmann de Ackley, Hinton y Sejnowski: las unidades cambian de estado con una probabilidad que depende de una temperatura, se agregan unidades ocultas y el objetivo ya no es guardar patrones sueltos sino aprender la distribución de los datos, como un modelo generativo (Ackley et al., 1985; Witten et al., 2017, pp. 449–450). En 2024, Hopfield y Hinton recibieron el Premio Nobel de Física «for foundational discoveries and inventions that enable machine learning with artificial neural networks» (Real Academia Sueca de Ciencias, 2024b).
Forma moderna: memoria y atención
Ramsauer et al. (2021) propusieron una red de Hopfield con estados continuos y una energía exponencial, que guarda una cantidad de patrones exponencial en la dimensión y suele recuperarlos en un solo paso. Su regla de actualización, ξ′ = X softmax(β Xᵀ ξ), es la atención del Transformer con β = 1/√dₖ: la pista parcial hace de consulta y los patrones guardados, de claves y valores (2021, sec. 2). La equivalencia es formal, y conviene no exagerarla: en un transformer los «recuerdos» son los demás tokens del contexto, y cada capa da un solo paso de recuperación (ver consultas, claves y valores).
Límites
Además de la capacidad, la red tiene mínimos espurios que nadie guardó (Ramsauer et al., 2021, sec. 1), y los recuerdos demasiado parecidos se confunden y tienden a fundirse (Hopfield, 1982, p. 2557). Como memoria práctica quedó superada; como modelo de cómo una red puede recordar sin direcciones, sigue vigente.