P(A | B) se lee «probabilidad de A dado B»: restringimos la atención a los casos en que ocurre B y preguntamos en qué proporción de ellos ocurre también A. Formalmente, P(A | B) = P(A, B) / P(B), siempre que P(B) > 0. Despejando se obtiene la regla del producto, P(A, B) = P(A | B) · P(B), de la que sale en una línea el teorema de Bayes (Witten et al., 2017, p. 337).
Ejemplo mínimo. Con un dado, P(6 | par) = P(6 y par) / P(par) = (1/6) / (1/2) = 1/3. Saber que salió un número par duplicó la probabilidad del 6, de 1/6 a 1/3.
Los modelos de lenguaje son, literalmente, máquinas de probabilidad condicional: estiman P(siguiente token | tokens anteriores). Un modelo de bigramas lo hace contando: si en un corpus «de» aparece 100 veces y «de la» 25, se estima P(la | de) = 25/100 = 0,25. Los modelos de Markov y de n-gramas (Modelo de n-gramas) condicionan solo en los últimos n − 1 símbolos (Witten et al., 2017, pp. 403–404); un transformer condiciona en toda su ventana de contexto.
Advertencia para lógicos: P(A | B) no es la probabilidad del condicional material B → A. En el dado, P(par → 6) = P(impar o 6) = 4/6 = 2/3, mientras que P(6 | par) = 1/3. Y la idea tentadora de que la probabilidad de un condicional del lenguaje natural sea siempre la probabilidad condicional correspondiente choca con los resultados de trivialidad de David Lewis (1976). Cómo razonan los LLMs con condicionales y modales es hoy un tema de investigación propio (Holliday et al., 2024).