Una distribución de probabilidad dice cuán probable es cada valor que puede tomar una variable aleatoria. Si la variable es discreta (una carta, una palabra), cada resultado recibe un número entre 0 y 1 y todos suman 1; si es continua (una estatura), se usa una densidad y las sumas se vuelven integrales (Witten et al., 2017, pp. 336–337).
Ejemplo mínimo. Un dado equilibrado: P(1) = P(2) = … = P(6) = 1/6, y 6 · 1/6 = 1. Un modelo de lenguaje, ante «Estoy manejando un…», asigna algo como {auto: 0,62; camión: 0,30; colectivo: 0,07; elefante: 0,01}. Los números son de juguete, pero la forma es exacta: elefante no tiene probabilidad cero, solo muy baja (Alammar y Grootendorst, 2024, p. 170).
Esa es la salida real de un LLM: no una palabra, sino una distribución sobre todo su vocabulario (32.064 tokens en el caso de Phi-3), calculada al final de cada pasada por la «cabeza» de modelado de lenguaje (Alammar y Grootendorst, 2024, pp. 77–79). La función softmax convierte puntajes arbitrarios, los logits, en una distribución válida (Chollet, 2021, sec. 4.2); después, una estrategia de decodificación elige un token: el más probable, o uno sorteado según las probabilidades (muestreo, modulado por la temperatura) (Alammar y Grootendorst, 2024, pp. 79–80). Entrenar el modelo es, a su vez, acercar esa distribución a la de los textos reales; la distancia entre ambas se mide con la entropía cruzada (ver entropía).
Una precisión filosófica. Que un modelo «asigne probabilidades» no implica que tenga grados de creencia. Son las salidas de una función entrenada para ajustarse a las frecuencias de un corpus; si además pueden leerse como credibilidades de algo parecido a un sujeto, o qué interpretación de la probabilidad (frecuentista, subjetiva, disposicional) les cuadra, es una de las preguntas abiertas sobre estos sistemas.