Seq2seq (sequence to sequence, «secuencia a secuencia») es una arquitectura para convertir una secuencia en otra de distinta longitud: una red recurrente, el codificador, lee la oración de entrada palabra por palabra y la resume en un único vector; una segunda red, el decodificador, despliega ese vector en la oración de salida. La propusieron casi a la vez, en 2014, Sutskever, Vinyals y Le en Google (Sutskever et al., 2014) y el grupo de Cho y Bengio en Montreal, que la llamó RNN Encoder–Decoder (Cho et al., 2014). Su banco de pruebas fue la traducción automática.
Cómo funciona
El codificador es una LSTM que consume un token por paso y va reescribiendo su
estado oculto; al terminar, ese estado es un compuesto que refleja qué palabras
aparecieron y en qué orden (Buckner, 2024, pp. 269–270). El decodificador es otra LSTM que
funciona como un modelo de lenguaje condicionado: arranca desde el vector del
codificador, emite una palabra, la recibe como entrada en el paso siguiente y sigue así hasta
producir el símbolo de cierre <EOS> (Sutskever et al., 2014, sec. 2; Alammar y Grootendorst, 2024, pp. 11–12). En
notación de probabilidades: p(y₁…y_T′ | x₁…x_T) = ∏ₜ p(yₜ | v, y₁…yₜ₋₁), donde v es el vector
que dejó el codificador. Para elegir la traducción se usa búsqueda en haz;
un haz de tamaño 2 ya daba casi todo el beneficio (Sutskever et al., 2014, sec. 3.2).
El modelo de Google tenía cuatro capas de 1.000 celdas de cada lado, embeddings de 1.000 dimensiones y vocabularios de 160.000 palabras (inglés) y 80.000 (francés). De sus 384 millones de parámetros, solo 64 millones eran conexiones recurrentes: el resto eran, sobre todo, las tablas de embeddings y la capa softmax de salida. La oración de entrada quedaba comprimida en 8.000 números (Sutskever et al., 2014, sec. 3.4). Se entrenó con 12 millones de pares de oraciones del corpus WMT'14 inglés–francés, durante unos diez días, en una máquina con ocho GPU (Sutskever et al., 2014, secs. 3.1 y 3.5).
Un truco resultó decisivo: leer la fuente al revés. Invertir el orden de las palabras de entrada bajó la perplejidad de 5,8 a 4,7 y subió el BLEU de 25,9 a 30,6. Los autores conjeturan que así las primeras palabras de la fuente quedan cerca de las primeras de la traducción, lo que acorta las dependencias que la retropropagación tiene que recorrer, aunque admiten no tener una explicación completa (Sutskever et al., 2014, sec. 3.3).
Qué cambió
Una LSTM sola transforma secuencias sin problemas cuando se sabe de antemano qué salida corresponde a cada entrada; la traducción no ofrece ese lujo, porque las longitudes difieren y el orden cambia (Sutskever et al., 2014, sec. 2). Seq2seq lo resuelve separando la lectura de la escritura. Hasta entonces, las redes neuronales entraban en la traducción sobre todo como piezas auxiliares de sistemas estadísticos basados en tablas de frases (Bahdanau et al., 2015, sec. 6.2); seq2seq tradujo de punta a punta. Un ensamble de cinco LSTM obtuvo 34,8 BLEU frente a 33,3 del sistema estadístico de referencia, y usado para reordenar las 1.000 mejores hipótesis de ese sistema llegó a 36,5, a medio punto del mejor resultado publicado (Sutskever et al., 2014, sec. 3.6). En 2016, Google Translate, que funcionaba con traducción estadística desde 2006, pasó a un sistema neuronal de codificador y decodificador (M. Mitchell, 2019, ch. 12; Mollick, 2026).
La receta, además, no sabía nada de idiomas: los autores anticiparon que serviría para cualquier tarea secuencia a secuencia con datos suficientes (Sutskever et al., 2014, sec. 5).
Límites
- El cuello de botella. Sea cual sea su longitud, la oración tiene que caber en un vector fijo. El grupo de Montreal informó que el rendimiento caía rápido con las oraciones largas (Bahdanau et al., 2015, sec. 1); Sutskever y colegas, con redes más profundas y la inversión de la fuente, vieron solo una degradación menor (2014, sec. 3.7). La discusión se zanjó en la práctica con la atención de Atención de Bahdanau, que deja al decodificador consultar toda la entrada (Alammar y Grootendorst, 2024, p. 13).
- Vocabulario cerrado. Toda palabra fuera de las 80.000 elegidas se convierte en
UNK. - Lentitud estructural. La recurrencia obliga a procesar la oración paso a paso, lo que impide paralelizar dentro de cada ejemplo (Vaswani et al., 2017, sec. 1). El Transformer nació para quitar esa restricción.