Un codificador toma una secuencia de entrada x₁…xₙ y devuelve representaciones continuas z₁…zₙ (Vaswani et al., 2017, sec. 3): un vector por posición, o uno solo que resume el todo. No produce texto; produce embeddings, cuyo valor está en lo que permiten hacer después.
Historia. En las primeras redes de traducción neuronal, el codificador era una red recurrente que leía la oración palabra por palabra y entregaba su último estado oculto como resumen: «I love llamas» → vector → «Ik hou van lama's» (Alammar y Grootendorst, 2024, pp. 11–13). En el Transformer, el codificador es una pila de seis bloques de autoatención y red bloque feedforward, en los que cada palabra puede mirar a todas las demás, hacia atrás y hacia adelante (Vaswani et al., 2017, sec. 3.1; Alammar y Grootendorst, 2024, p. 16).
Codificadores solos. Quedarse únicamente con el codificador dio los «modelos de representación»: BERT y Sentence-BERT, que sirven para clasificar, agrupar y buscar, pero no para escribir (Alammar y Grootendorst, 2024, pp. 18–20). El codificador de imágenes de Vision Transformer (ViT) y las dos torres (texto e imagen) de CLIP son la misma idea en otras modalidades; el codificador de un VAE lleva cada imagen a una región de un espacio latente. ELMo fue un codificador recurrente bidireccional.
Qué no significa «codificar». No es cifrar con una clave ni traducir a un código fijado de antemano. El código se aprende: nadie decide qué dimensiones tendrá ni qué significará cada una. Por eso la pregunta interesante no es qué «dice» un vector (no dice nada), sino qué información puede recuperarse de él y con qué garantías; esa es la tarea del sondeo.