Para una distribución p₁, …, pₙ, la entropía es H = −Σ pᵢ · log₂ pᵢ. Vale 0 cuando un resultado es seguro y es máxima cuando todos son igualmente probables; con logaritmos en base 2 se mide en bits. Shannon la introdujo en 1948 como medida de información, elección e incertidumbre, tomando el nombre de la mecánica estadística (Shannon, 1948, sec. 6); puede probarse que es la única función que cumple ciertas propiedades razonables para medir información (Witten et al., 2017, p. 110).
Ejemplo mínimo. Una moneda equilibrada: H = −(½ · log₂ ½ + ½ · log₂ ½) = 1 bit. Una moneda cargada 90/10: H = −(0,9 · log₂ 0,9 + 0,1 · log₂ 0,1) ≈ 0,47 bits. Hay menos incertidumbre, porque casi siempre sabemos qué va a salir.
La ganancia de información es la entropía antes de conocer un atributo menos la entropía promedio después. Es el criterio con que los árboles de decisión eligen qué preguntar primero: en el ejemplo meteorológico de Witten et al., 9 días de «sí» y 5 de «no» dan 0,940 bits; tras dividir según el pronóstico quedan 0,693 bits en promedio, de modo que esa pregunta gana 0,247 bits, más que cualquier otra (Witten et al., 2017, pp. 107–110).
En los modelos de lenguaje, la entropía está en todas partes. La función de pérdida con que se entrenan es la entropía cruzada, y la perplejidad es su versión exponenciada. Shannon mismo estimó que la redundancia del inglés, considerando dependencias de hasta unas ocho letras, ronda el 50 %; uno de sus métodos fue borrar letras de un texto y pedirle a alguien que las restituyera (Shannon, 1948, sec. 7), un pariente del modelado enmascarado.
Pero Shannon aclaró desde la primera página que los aspectos semánticos de la comunicación son irrelevantes para el problema de ingeniería (Shannon, 1948, p. 379). La información de Shannon mide improbabilidad, no contenido: una fuente que emite letras al azar tiene más entropía por símbolo que el inglés de un soneto.