En cada paso, un modelo de lenguaje produce un puntaje (logit) para cada token del vocabulario, y el softmax los convierte en probabilidades. La temperatura T divide los logits antes del softmax: p_i = exp(z_i / T) / Σ_j exp(z_j / T). Con T < 1 las diferencias se agrandan y el favorito se lleva casi todo; con T > 1 se achican y los candidatos improbables ganan chances. En el límite T → 0 se elige siempre el más probable (decodificación voraz) (Alammar y Grootendorst, 2024, pp. 80, 171).
Tomemos el ejemplo de Alammar y Grootendorst (2024): después de «Estoy manejando un…» (I am driving a…), «coche» es más probable que «camión», y «elefante» es posible pero raro (2024, p. 170). Supongamos logits de 2, 1 y 0:
| T | coche | camión | elefante |
|---|---|---|---|
| 0,5 | 0,87 | 0,12 | 0,02 |
| 1 | 0,67 | 0,24 | 0,09 |
| 2 | 0,51 | 0,31 | 0,19 |
Con T = 0,5, «elefante» aparece en alrededor de 1 de cada 60 muestras; con T = 2, en casi 1 de cada 5. Podés mover la perilla en el laboratorio de temperatura.
En la práctica, temperaturas bajas convienen para tareas con una respuesta correcta (un correo formal, una traducción) y altas para generar ideas; la temperatura se combina con recortes como top-p (muestreo) (Alammar y Grootendorst, 2024, pp. 171–172). El nombre viene de la física estadística, donde una fórmula de la misma forma (la distribución de Boltzmann) describe cómo un sistema más caliente reparte su energía entre más estados; Hinton et al. (2015) usan la misma perilla para la destilación.
Un malentendido común es llamarla la perilla de la «creatividad». Lo que cambia no es lo que el modelo sabe sino cómo se muestrea su distribución: el modelo propone probabilidades y el sistema que lo envuelve decide. Eso vuelve interesante una pregunta pragmática: si la misma pregunta, con la misma red, puede recibir respuestas distintas según una perilla, ¿quién afirma lo que finalmente se dice, el modelo o el dado?