Un modelo de n-gramas es la forma más simple de modelo de lenguaje: estima la probabilidad de la palabra siguiente mirando solo las n − 1 palabras anteriores, y lo hace contando. Es el antepasado directo de la pregunta que todavía se les hace a los grandes modelos: dado este fragmento, ¿qué palabras es probable que sigan? (Shanahan, 2024, p. 70).
Cómo funciona
Por la regla de la cadena, la probabilidad de una oración es el producto de las probabilidades de cada palabra dado todo lo anterior. El n-grama la simplifica con el supuesto de Markov: solo importan las últimas n − 1 palabras (un bigrama condiciona en una, un trigrama en dos). En términos de Witten et al. (2017), es un modelo de Markov de orden n − 1 (2017, pp. 403–404).
Entrenarlo es contar: en un trigrama, P(sentó | gato se) = C(gato se sentó) / C(gato se), la frecuencia relativa en el corpus. Para generar se busca la fila del contexto, se sortea la palabra siguiente, se corre la ventana un lugar y se repite: generación autorregresiva en su versión más desnuda. Se lo evalúa por su perplejidad en texto no visto.
Markov, Shannon y un libro abierto al azar
En 1913 Andréi Markov contó a mano las primeras 20.000 letras del Eugenio Oneguin de Pushkin para estudiar cómo se encadenan vocales y consonantes (Markov, 1913/2006). Treinta y cinco años después, Claude Shannon llevó la idea al inglés con una «serie de aproximaciones» que va de letras equiprobables a digramas, trigramas y, finalmente, palabras elegidas según la palabra anterior (Shannon, 1948, sec. 3). Ese último orden ya produce cosas como «THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT…».
El muestreo era artesanal: abrir un libro al azar, leer hasta dar con la letra (o palabra) actual, anotar la siguiente y seguir en otra página. Shannon advirtió que ir un orden más allá exigía un trabajo enorme (1948, sec. 3), y llamó a estas fuentes «procesos de Markoff discretos» (1948, sec. 4). El significado había quedado fuera a propósito: los aspectos semánticos, escribe, son irrelevantes para el problema de ingeniería (1948, p. 379).
Límites
El problema central es la dispersión. Con un vocabulario de V palabras hay Vⁿ secuencias posibles y casi ninguna aparece en un corpus real; sin corrección, una sola secuencia no vista anula la probabilidad de toda la oración. Por eso el suavizado (el más simple, el estimador de Laplace, suma uno a cada conteo) es crítico en los órdenes altos (Witten et al., 2017, pp. 99, 404). La otra respuesta fue la escala: Google publicó conteos de unos mil millones de secuencias de cinco palabras tomadas de un corpus de un billón de palabras (2017, p. 404).
El segundo límite es la miopía. Un bigrama puede aprender que keys are es más frecuente que keys is, pero no la concordancia en «The keys to the old, wooden kitchen cabinet are on the table», con seis palabras entre sujeto y verbo (Mahowald et al., 2024). Ese fue el blanco de Chomsky (1957): ningún modelo de estados finitos genera el inglés, y la aproximación estadística no define la gramaticalidad (colorless green ideas sleep furiously) (1957, chs. 2–3). La segunda mitad del argumento envejeció peor: un bigrama por clases entrenado con texto periodístico le da a esa oración unas 200.000 veces más probabilidad que a su inversa (Pereira, 2000), resultado que Piantadosi (2024) usa contra el escepticismo chomskiano sobre la probabilidad (2024, pp. 368–369).
Descendencia
El tercer límite es que cada palabra es un símbolo aislado. El modelo neuronal probabilístico de Bengio et al. (2003) reemplazó los conteos por una red sobre vectores de palabras aprendidos, para que la similitud repartiera la evidencia; hasta entonces, los n-gramas eran uno de los enfoques dominantes (Alammar y Grootendorst, 2024, p. 88). Los LLM heredaron la tarea de Shannon y cambiaron casi todo lo demás: a diferencia de un n-grama, GPT-2 produce sobre todo secuencias de cinco o más palabras que no figuran en su entrenamiento (Mahowald et al., 2024).