Por la regla de la cadena, la probabilidad de una oración es el producto de la probabilidad de cada palabra dado todo lo anterior. El supuesto de Markov recorta esa historia: P(wₜ | w₁ … wₜ₋₁) ≈ P(wₜ | wₜ₋ₖ … wₜ₋₁). Con k = 1 se obtiene un modelo de primer orden, que predice cada símbolo a partir del anterior; un modelo de n-gramas es un modelo de Markov de orden n − 1 (Witten et al., 2017, pp. 403–404). Sin ese recorte no habría nada que contar: casi ninguna historia completa se repite en un corpus.
Ejemplo mínimo. Un bigrama asigna a perro después de el la misma probabilidad en «el perro ladra» que en «compré una correa nueva para el perro»: correa no cuenta, solo el. Shannon (1948) generó así sus aproximaciones al inglés y llamó a esas fuentes «procesos discretos de Markoff» (1948, secs. 3–4).
Contra esto se dirigió Chomsky (1957). Construcciones como si… entonces o o bien… o bien pueden anidarse unas dentro de otras, y cada apertura debe cerrarse en espejo, a una distancia arbitraria. Un dispositivo de estados finitos no puede llevar esa cuenta, así que el inglés no es un lenguaje de estados finitos (1957, ch. 3). La objeción vale para la competencia idealizada: en corpus de siete lenguas europeas, Karlsson (2007) no halló más de tres niveles de subordinación central en la escritura, y casi ninguno en el habla.
Con las redes, el supuesto cambió de lugar. Una red recurrente es markoviana respecto de su estado oculto, que resume el pasado en un vector de tamaño fijo, y un Transformer lo es respecto de su ventana de contexto, un «estado» de miles de tokens. La pregunta ya no es si el pasado importa, sino cuánto de él cabe en el presente. En el aprendizaje por refuerzo rige la misma idea: un estado es «de Markov» si contiene todo lo del pasado que importa para el futuro (Sutton y Barto, 2018, ch. 3).