Un modelo de lenguaje no lee letras ni palabras: lee tokens, pedazos de texto que un tokenizador recorta y reemplaza por números enteros. La instrucción «Write an email apologizing to Sarah…» llega al modelo Phi-3 como una lista de identificadores (1, 14350, 385, 4876, …), cada uno de los cuales remite a una entrada del vocabulario (Alammar y Grootendorst, 2024, pp. 40–41). Los tokens son la entrada del modelo y también su salida: el texto se genera de a un token por vez (Alammar y Grootendorst, 2024, p. 38).
Ejemplo mínimo. Ese tokenizador parte apologizing en apolog + izing, tragic en
trag + ic y mishap en m + ish + ap; además agrega tokens especiales sin contenido
léxico, como <s> para marcar el comienzo del texto (Alammar y Grootendorst, 2024, pp. 41–42).
Para un lingüista conviene separar tres nociones. Un token no es una palabra: una palabra puede ocupar varios tokens, y un token puede incluir el espacio que la precede. Tampoco es un morfema: mis-hap tiene una frontera morfológica que el tokenizador ignora, mientras que m|ish|ap no respeta ninguna. Los tokens son subcadenas frecuentes en los datos con que se entrenó el tokenizador, elegidas por criterios estadísticos o de compresión (ver BPE); cuando coinciden con morfemas, es porque los morfemas son frecuentes, no porque el algoritmo sepa morfología. En inglés, un token de subpalabra promedia unos tres caracteres (Alammar y Grootendorst, 2024, p. 45).
Una nota terminológica para filósofos: la jerga del aprendizaje automático llama «token» tanto a la entrada del vocabulario (lo que Peirce llamaría un tipo) como a cada una de sus apariciones en un texto (un token en sentido peirceano). La distinción importa: los embeddings estáticos se asignan a tipos; los contextuales, a ocurrencias. La noción, además, desbordó el texto: el Vision Transformer trata parches de imagen como si fueran tokens (Alammar y Grootendorst, 2024, p. 262).