Muchas tareas de lenguaje transforman una secuencia en otra de distinta longitud: traducir, resumir, transcribir. La arquitectura codificador–decodificador las divide en dos: un codificador convierte la entrada en representaciones y un decodificador genera la salida paso a paso a partir de ellas (Vaswani et al., 2017, sec. 3; Witten et al., 2017, p. 460).
La versión recurrente y su cuello de botella. En Seq2seq (2014), dos redes recurrentes se pasaban la posta: la primera leía la oración entera y la condensaba en un único vector de tamaño fijo; la segunda escribía la traducción a partir de él. Bahdanau et al. (2015) conjeturaron que ese vector era un cuello de botella, y lo mostraron: el rendimiento de estos modelos caía en picada a medida que las oraciones se alargaban (2015, secs. 1 y 5.1). Su remedio, la atención, permite que el decodificador consulte todos los estados del codificador, no solo el último (Atención de Bahdanau).
La versión transformer. El Transformer mantuvo el esquema (seis bloques codificadores, seis decodificadores, unidos por atención cruzada) pero sin recurrencia (Vaswani et al., 2017, sec. 3.1). T5 lo llevó al extremo, reformulando toda tarea como «texto a texto». Luego la familia se ramificó: BERT conservó solo el codificador; la línea GPT, solo el decodificador (Alammar y Grootendorst, 2024, pp. 18–21). Fuera del lenguaje, el VAE tiene la misma forma, con un espacio latente en el medio.
Un ángulo filosófico. Un grupo de Toronto llamó thought vectors («vectores de pensamiento») a las representaciones de oraciones enteras, y Geoffrey Hinton llegó a decir: «I think you can capture a thought by a vector» (M. Mitchell, 2019, ch. 11). Que el contenido de una oración quepa en un vector fijo es una tesis fuerte sobre el significado. El resultado de Bahdanau funciona como una pequeña refutación empírica: para oraciones largas, conviene conservar una representación por palabra y consultarla según haga falta, en lugar de comprimirlo todo en un punto.