Al atravesar decenas de capas, los valores de las activaciones pueden crecer o achicarse hasta volver inestable el entrenamiento. La normalización de capa corrige esto token por token: toma el vector x de d componentes, calcula su media μ y su varianza σ² sobre esas d componentes, lo centra y lo reescala, y luego aplica una ganancia γ y un sesgo β aprendidos:
LN(x) = γ ⊙ (x − μ) / √(σ² + ε) + β
(Ba et al., 2016). Ejemplo: el vector (2, 4, 6) tiene media 4 y desviación ≈ 1,63; normalizado queda ≈ (−1,22, 0, 1,22), antes de γ y β.
Frente a la normalización por lotes. La batch normalization, común en visión, calcula media y varianza de cada unidad a lo largo de los ejemplos de un lote (Witten et al., 2017, p. 436). Eso depende del tamaño del lote y se adapta mal a secuencias de largo variable. La normalización de capa usa las estadísticas de un solo ejemplo, hace el mismo cálculo en entrenamiento y en uso, y fue pensada en parte para las redes recurrentes (Ba et al., 2016).
Dónde va. En el Transformer original, después de cada suma residual:
LayerNorm(x + Subcapa(x)) (Vaswani et al., 2017, sec. 3.1). Desde GPT-2 se prefiere ponerla
antes de cada subcapa (pre-normalización), como en GPT-3
(Brown et al., 2020, sec. 2.1); así se acorta el entrenamiento (Alammar y Grootendorst, 2024, p. 101). Muchos
modelos actuales, como LLaMA, usan RMSNorm, que omite el centrado y divide solo por
la raíz de la media de los cuadrados: más simple y barata
(Alammar y Grootendorst, 2024, p. 101; Touvron, Lavril et al., 2023, sec. 2.2).
Por qué importa aunque sea invisible. En los diagramas suele quedar como una cajita («Suma y normalización» en el de BERT), pero es una de las piezas que hacen entrenable la profundidad, junto con las conexiones residuales. No aporta «contenido»: fija la escala en la que las demás capas pueden trabajar.