Un modelo de lenguaje no escribe: devuelve una distribución de probabilidad sobre el próximo token. La regla para pasar de esa distribución a un token concreto es la estrategia de decodificación (Alammar y Grootendorst, 2024, p. 79). La más simple es elegir siempre el más probable (decodificación voraz). Muestrear, en cambio, es tirar un dado cargado: si «Dear» tiene 40 % de probabilidad, sale el 40 % de las veces (2024, p. 79). Eso da variedad, pero también le deja una chance a la cola de opciones absurdas. Dos recortes la controlan (Alammar y Grootendorst, 2024, pp. 171–172):
- top-k: se consideran solo los k tokens más probables.
- top-p o nucleus sampling: se consideran los más probables hasta que su probabilidad acumulada alcance p; el tamaño del núcleo varía según cuán segura esté la distribución.
Con el ejemplo de la entrada temperatura (logits 2, 1 y 0 para «coche», «camión» y «elefante») y top-p = 0,9:
- T = 0,5 → probabilidades 0,87 · 0,12 · 0,02 → núcleo: {coche, camión}
- T = 1 → 0,67 · 0,24 · 0,09 → núcleo: {coche, camión} (acumulan 0,91)
- T = 2 → 0,51 · 0,31 · 0,19 → núcleo: los tres
El elefante solo entra al núcleo a temperatura alta; con top-k = 2 no entraría nunca. Dentro del núcleo se renormaliza: a T = 1, coche queda con 0,73 y camión con 0,27. Podés probarlo en el laboratorio de temperatura.
El muestreo de núcleo fue propuesto por Holtzman et al. (2020), que mostraron algo contraintuitivo: buscar el texto más probable produce escritura sosa y repetitiva, muy distinta de la humana; el lenguaje humano no es la secuencia más probable sino una muestra razonable. Brown et al. (2020) usaron temperatura 1 y top-p 0,9 para generar muestras de GPT-3 (2020, app. F). Filosóficamente, el azar del muestreo complica atribuir a «el modelo» una respuesta: el modelo es la distribución entera, y cada respuesta es solo una tirada.