La perplejidad evalúa cuán bien un modelo de lenguaje predice un texto real. Se le pide, token por token, la probabilidad que asignaba a lo que efectivamente vino después; se promedia la sorpresa de cada acierto (−log₂ p) y se exponencia el resultado. Si el modelo le da probabilidad alta a cada token correcto, no está «perplejo» (Alammar y Grootendorst, 2024, p. 374). En fórmula, PPL = 2^H, donde H es la entropía cruzada promedio, en bits por token.
Ejemplo mínimo. Tres tokens a los que el modelo asignó probabilidades 1/2, 1/4 y 1/8. Sus sorpresas son 1, 2 y 3 bits; el promedio es 2 bits; la perplejidad es 2² = 4. Se interpreta como un factor de ramificación efectivo: en promedio, el modelo está tan indeciso como si eligiera entre 4 opciones igualmente probables.
La noción viene del reconocimiento del habla de los años setenta (Jelinek et al., 1977) y es la métrica natural del preentrenamiento, porque mide la misma cantidad que se optimiza (ver predicción del siguiente token). Los creadores de GPT-2, por ejemplo, ajustaron la tasa de aprendizaje de cada modelo buscando la mejor perplejidad sobre una porción reservada de su corpus (Radford et al., 2019, sec. 3).
Límites. Depende del tokenizador: un modelo con tokens más largos hace menos predicciones por texto, así que las perplejidades de modelos con vocabularios distintos no se comparan directamente; por eso los resultados suelen reescalarse a una unidad canónica, como el carácter, el byte o la palabra (Radford et al., 2019, sec. 3.1). Y mide ajuste a un corpus, no verdad ni utilidad: no dice nada de la consistencia, la fluidez, la creatividad o la corrección de lo que el modelo genera (Alammar y Grootendorst, 2024, p. 374). Un error muy típico puede tener baja perplejidad; una verdad dicha de manera inusual, alta.