Una conexión residual reemplaza «la salida de la capa es F(x)» por
salida = x + F(x)
La capa ya no tiene que reconstruir toda la representación: solo aprende lo que hay que agregarle, el «residuo». Si no tiene nada útil que aportar, le basta con acercar F a cero y dejar pasar x intacta. La idea se hizo famosa con las ResNet de He et al. (2016), redes de visión de hasta 152 capas que ganaron la competencia ImageNet de 2015 (3,6 % de error top-5, según la tabla de (Witten et al., 2017, p. 439)).
Qué problema resuelve. En una red profunda, la señal de error que la retropropagación lleva hacia las primeras capas se multiplica por muchos factores y tiende a desvanecerse (ver gradiente que se desvanece). La suma ofrece un camino directo: la derivada de x + F(x) respecto de x es 1 + F′(x), y ese «1» asegura que el gradiente llegue. Chollet (2021) cuenta las conexiones residuales entre las innovaciones de 2014–2016 que mejoraron la propagación del gradiente y permitieron entrenar desde cero modelos de profundidad casi arbitraria (2021, sec. 1.3.3; ver también sec. 9.3.2).
En los transformers. Cada subcapa del Transformer va envuelta en una conexión
residual: LayerNorm(x + Subcapa(x)) (Vaswani et al., 2017, sec. 3.1). Es lo que permite apilar
los 96 bloques de GPT-3 y, a la vez, lo que da lugar a la imagen del
flujo residual: un vector por token que atraviesa toda la red y al que
cada capa le suma su aporte (Elhage et al., 2021). En el diagrama de BERT aparecen como
«Suma y normalización».
Una analogía. Es la diferencia entre reescribir un borrador desde cero en cada ronda y corregirlo con anotaciones al margen: lo segundo es más estable, y el texto original nunca se pierde del todo.