Tres funciones marcan la historia:
- Escalón: 1 si la suma supera 0; si no, 0. Es la del perceptrón y la de McCulloch y Pitts: traduce números a valores de verdad.
- Sigmoide: 1/(1 + e⁻ˣ), una versión suave del escalón, con valores entre 0 y 1. Se impuso porque el escalón no es derivable y el descenso por gradiente necesita derivadas (Witten et al., 2017, p. 264).
- ReLU: max(0, x). Deja pasar lo positivo y anula lo negativo. Hoy es la opción por defecto: su derivada vale 0 o 1, lo que ayuda contra el gradiente que se desvanece (Witten et al., 2017, pp. 424–425).
¿Por qué hace falta? Porque la composición de funciones lineales es lineal. Si cada capa solo multiplicara por una matriz y sumara un vector, apilar diez capas daría lo mismo que una: una red «profunda» sin activaciones sería un modelo lineal disfrazado (Chollet, 2021, sec. 2.3.5). La no linealidad es lo que amplía el espacio de hipótesis y le da sentido a la profundidad (Chollet, 2021, sec. 4.1.3). El ejemplo clásico es el XOR: ninguna recta separa sus casos positivos de los negativos, así que ningún clasificador lineal puede computarlo; con una capa oculta no lineal, sí (Witten et al., 2017, p. 262).
En la salida de la red se usan activaciones según la tarea: sigmoide para una probabilidad binaria, softmax para una distribución sobre muchas clases, ninguna para la regresión.
Una nota para lógicos: la función escalón hace de cada unidad una pequeña función de verdad, y en ese sentido las primeras redes eran lógica cableada. Al suavizar el escalón para poder derivar, las redes cambiaron la bivalencia por grados: lo que ganaron en capacidad de aprender lo perdieron en legibilidad inmediata. Podés comparar ambas en el laboratorio del perceptrón.