Antes de que un modelo vea un texto, un tokenizador lo divide en tokens y los reemplaza por identificadores numéricos; a la salida hace el camino inverso (Alammar y Grootendorst, 2024, pp. 38–43). Hay cuatro esquemas: por palabras (el de word2vec; no sabe qué hacer con palabras nuevas), por caracteres (nunca falla, pero alarga las secuencias y obliga al modelo a aprender a deletrear), por bytes y por subpalabras, hoy dominante, con algoritmos como BPE (familia GPT) o WordPiece (BERT) (Alammar y Grootendorst, 2024, pp. 43–46; Sennrich et al., 2016).
Un tokenizador depende del método, de parámetros como el tamaño del
vocabulario y de los datos con que se lo entrenó; por eso difieren tanto. El
BERT original sin mayúsculas pasa todo a minúscula, pierde los saltos de línea y convierte
emojis y caracteres chinos en [UNK], «desconocido»; los tokenizadores pensados para código
conservan los espacios de indentación (Alammar y Grootendorst, 2024, pp. 48–56). La
demo de tokenización permite compararlos.
Por qué a los LLMs les cuesta contar letras. El tokenizador de GPT-4 convierte CAPITALIZATION en dos tokens, CAPITAL e IZATION (Alammar y Grootendorst, 2024, p. 51). Si le preguntamos cuántas A tiene la palabra, el modelo no recibe letras sino dos números. La ortografía de cada token solo pudo aprenderla indirectamente, por ejemplo de textos donde las palabras aparecen deletreadas; Edman et al. (2024) encontraron que los modelos parecen saber cómo se escriben sus tokens, pero aprovechan mal ese saber cuando tienen que manipular texto. Con los números pasa algo parecido: en GPT-2, 870 es un solo token pero 871 son dos (8 y 71), y por eso algunos modelos de código tokenizan cada dígito por separado (Alammar y Grootendorst, 2024, p. 52).
La tokenización tampoco es neutral entre lenguas. El mismo texto traducido puede requerir hasta 15 veces más tokens según el idioma, lo que encarece el uso y achica la ventana de contexto efectiva para algunas comunidades lingüísticas (Petrov et al., 2023): una desigualdad que se decide antes de que el modelo procese una sola palabra.