Un modelo que estima probabilidades contando le asigna cero a todo lo que no vio, y eso es grave. Lo no visto es la norma: casi la mitad de las palabras de un corpus aparece una sola vez (Witten et al., 2017, p. 516). Y los ceros contagian: en Bayes ingenuo, una probabilidad nula «veta» a todas las demás (2017, p. 99); en un modelo de n-gramas, una sola secuencia nunca vista anula la probabilidad de la oración entera. Suavizar es quitarle algo de probabilidad a lo observado para repartirla entre lo no observado.
Ejemplo mínimo. Si el cielo estuvo soleado, nublado y lluvioso en 2, 4 y 3 de 9 días, las frecuencias son 2/9, 4/9 y 3/9. El estimador de Laplace suma 1 a cada cuenta y 3 al denominador: 3/12, 5/12 y 4/12. En general se estima (n + μp)/(N + μ), donde p es una probabilidad previa y μ fija cuánto pesa frente a la evidencia; equivale a tomar la media posterior bajo un prior de Dirichlet (2017, pp. 99–100).
Con vocabularios grandes, sumar uno le roba demasiada masa a lo visto; los n-gramas usaron métodos más finos. El back-off recurre a un contexto más corto cuando el largo no aparece, y la interpolación mezcla varios órdenes (Bengio et al., 2003, p. 1138); hacia 2003, lo más fuerte era el Kneser–Ney modificado (2003, p. 1148).
En una red, la softmax nunca da cero, y como palabras parecidas tienen vectores parecidos, ver The cat is walking in the bedroom sube también la probabilidad de A dog was running in a room (Bengio et al., 2003, pp. 1139–1140): ahora suaviza la representación. Queda un eco deliberado: el Transformer se entrenó contra objetivos levemente difuminados (label smoothing), lo que empeora la perplejidad pero mejora el BLEU (Vaswani et al., 2017, sec. 5.4).
Suavizar es la versión cuantitativa de un problema de la inducción: cuánto confiar en las frecuencias observadas y cuánto en lo esperado de antemano (sesgo inductivo). Asignarle cero a lo nunca visto es dogmatismo: ninguna evidencia podría corregirlo.