En una red recurrente, el estado oculto hₜ es lo que la red «recuerda» en el
paso t. Se calcula a partir de la entrada actual y del estado anterior,
hₜ = f(xₜ, hₜ₋₁) (Bahdanau et al., 2015, sec. 2.1), y se reutiliza en el paso siguiente
(Witten et al., 2017, p. 457). Es «oculto» en el mismo sentido que una capa oculta: no es
ni entrada ni salida, sino una representación intermedia que nadie especifica y que se
ajusta durante el entrenamiento.
Un resumen de tamaño fijo. El estado tiene siempre la misma dimensión, lea la red tres palabras o trescientas. Eso lo hace económico y, a la vez, limitado. En los traductores secuencia a secuencia, el último estado oculto del codificador era el único resumen de la oración que recibía el decodificador; con oraciones largas, la información se perdía (Bahdanau et al., 2015, sec. 1; M. Mitchell, 2019, ch. 12). La atención surgió para pasar al decodificador todos los estados ocultos, no solo el último (Alammar y Grootendorst, 2024, pp. 13–14).
Variantes. En una LSTM, junto al estado oculto hay una «celda de memoria» cₜ que las compuertas protegen del borrado (Witten et al., 2017, pp. 458–459). En los modelos de espacio de estados como Mamba, el estado vuelve a ser el protagonista: fijo en tamaño, frente a la caché KV de un transformer, que crece con cada token. En la jerga de los transformers, en cambio, se llama hidden states a las activaciones de cada capa para cada token, aunque ya no pasen de un paso temporal al siguiente.
Qué se encontró adentro. Elman (1990) entrenó una red recurrente simple a predecir la palabra siguiente y, al agrupar sus estados ocultos, encontró que se organizaban por categorías: sustantivos y verbos, animados e inanimados (Red recurrente simple (Elman)). Nadie le había enseñado gramática. Para la lingüística, fue una de las primeras demostraciones de que categorías abstractas pueden emerger de la pura distribución; si eso cuenta como tener esas categorías es otra discusión.