Una compuerta es un vector de números entre 0 y 1, producido por una sigmoide a partir de la entrada y del estado, que se multiplica elemento a elemento por otra señal:
g = σ(W·x + U·h + b), salida = g ⊙ señal
Donde g vale cerca de 0, la señal se bloquea; donde vale cerca de 1, pasa. Lo importante es que la decisión no está programada: g depende de los datos y sus pesos se aprenden como cualquier otro (Witten et al., 2017, p. 458).
En la LSTM. La LSTM usa tres compuertas: de entrada (iₜ), de olvido (fₜ) y de
salida (oₜ). La celda de memoria se actualiza como cₜ = fₜ ⊙ cₜ₋₁ + iₜ ⊙ sₜ y el
estado oculto como hₜ = oₜ ⊙ tanh(cₜ) (Witten et al., 2017, pp. 458–459). Así la
red puede conservar información durante muchos pasos sin que se degrade, y el error
retropropagado también fluye sin desvanecerse: es la respuesta al
gradiente que se desvanece (Hochreiter y Schmidhuber, 1997). La GRU simplifica el
esquema sin celda separada, con rendimiento comparable en algunas tareas
(Witten et al., 2017, p. 460; Cho et al., 2014); las unidades recurrentes de Atención de Bahdanau también eran
de este tipo (Bahdanau et al., 2015, sec. 4.2).
Más allá de las recurrentes. La idea se volvió ubicua. En la mezcla de expertos, una «red de compuerta» decide qué expertos procesan cada token (Shazeer et al., 2017) (Mezcla de expertos (Mixtral)). Las redes bloque feedforward de muchos transformers actuales usan SwiGLU, una activación con compuerta (Alammar y Grootendorst, 2024, p. 101). Y Mamba hace que los parámetros de su recurrencia dependan de la entrada, para propagar u olvidar información de manera selectiva (Gu y Dao, 2023).
Cautela interpretativa. Es cómodo describir las compuertas como «decisiones» de recordar u olvidar. M. Mitchell (2019) subraya que sus pesos se aprenden por retropropagación igual que los demás (2019, ch. 12): la arquitectura ofrece la posibilidad de olvidar selectivamente; qué se olvida, y por qué, lo fija el entrenamiento, y no siempre coincide con lo que un lingüista llamaría información relevante.