En sentido técnico, un modelo de lenguaje es una distribución de probabilidad sobre secuencias. Por la regla del producto, esa probabilidad se descompone en probabilidades condicionales: P(w₁ … wₙ) = P(w₁) · P(w₂ | w₁) · … · P(wₙ | w₁ … wₙ₋₁). Modelar el lenguaje es, entonces, estimar la probabilidad del próximo token dado un contexto (Buckner, 2024, p. 268).
Ejemplo mínimo. Un modelo de bigramas estima P(gato | el) contando cuántas veces «el» va seguido de «gato» en un corpus; los modelos de n-gramas generalizan la idea a contextos de n − 1 símbolos (Witten et al., 2017, pp. 403–404). Shannon generó así, en 1948, «aproximaciones al inglés» cada vez más verosímiles, primero con letras y después con palabras (Shannon, 1948, sec. 3). Es la especie Modelo de n-gramas; los modelos neuronales reemplazaron los conteos por vectores aprendidos (Bengio et al., 2003), y los transformers ampliaron el contexto a miles de tokens.
La expresión es ambigua. Puede designar el objeto matemático (la distribución), la red entrenada que lo aproxima o, por extensión, el producto conversacional construido sobre ella: ChatGPT es un producto, no un modelo (Alammar y Grootendorst, 2024, p. 23). Shanahan (2024) pide mantener separados el LLM «pelado», que responde a la pregunta de qué palabras es probable que sigan, y los sistemas en los que se lo embebe (2024, p. 70). Además, se llama «modelos de lenguaje» a codificadores como BERT, que no predicen el siguiente token sino palabras ocultas (modelado enmascarado) y no asignan directamente una probabilidad a una oración completa. Y «grande» es arbitrario: lo que hoy es grande mañana puede ser chico (Alammar y Grootendorst, 2024, p. 25).
En lingüística el tema tiene historia. Colorless green ideas sleep furiously se ofreció durante décadas como prueba de que la sintaxis es autónoma y de que las estadísticas de transición entre palabras no bastan (Chomsky, 1957); Piantadosi (2024) sostiene que esa afirmación ya fue refutada y que los modelos actuales ponen en jaque los principios del programa generativo (2024, pp. 367–368). Ver competencia formal y funcional.