softmax(z)ᵢ = e^zᵢ / Σⱼ e^zⱼ. Toma un vector de números reales, los logits, y devuelve otro del mismo tamaño cuyos valores son positivos y suman 1: una distribución de probabilidad. Preserva el orden (el puntaje más alto recibe la probabilidad más alta) y exagera las diferencias, porque la exponencial crece rápido (Witten et al., 2017, p. 397; Chollet, 2021, sec. 4.2).
Ejemplo mínimo. softmax([2, 1, 0]): e² ≈ 7,389, e¹ ≈ 2,718, e⁰ = 1; la suma es ≈ 11,107. Resultado: ≈ [0,665; 0,245; 0,090]. Una diferencia de 1 entre puntajes se convirtió en una razón de casi 3 a 1 entre probabilidades (e ≈ 2,718).
El nombre dice que es una versión «blanda» de elegir el máximo: en vez de darle todo al ganador, reparte según los puntajes. Aparece en lugares clave. Al final de un modelo de lenguaje, convierte un puntaje por cada token del vocabulario en la probabilidad de que ese token venga a continuación. Dentro de la atención, normaliza los puntajes de relevancia entre tokens para que sumen 1 (Alammar y Grootendorst, 2024, p. 94). Y es la capa final estándar de los clasificadores con muchas clases.
La temperatura T divide los logits antes de aplicar softmax. Con T = 2, los mismos [2, 1, 0] dan ≈ [0,506; 0,307; 0,186], una distribución más pareja; con T = 0,5 dan ≈ [0,867; 0,117; 0,016], más concentrada. En el límite T → 0 se recupera la elección del máximo, que es la decodificación voraz (Alammar y Grootendorst, 2024, pp. 80, 171).
Una aclaración: que las salidas sumen 1 garantiza que sean formalmente probabilidades, no que estén bien calibradas. Un modelo puede asignar 0,99 a una respuesta equivocada; la softmax normaliza la confianza, no la justifica.