T5 (Text-to-Text Transfer Transformer) es un transformer codificador–decodificador, como el original, entrenado con una sola regla: toda tarea entra como texto y sale como texto. Lo presentó un equipo de Google en 2019, como parte de un estudio sistemático de qué funciona y qué no en el aprendizaje por transferencia (Raffel et al., 2020).
Todo es texto a texto
Para traducir, T5 recibe «translate English to German: That is good.» y debe producir «Das ist gut.»; para juzgar si una oración es gramatical, recibe «cola sentence: …» y responde «acceptable» o «not acceptable»; para resumir, «summarize: …» (Raffel et al., 2020, pp. 3, 8). El nombre de la tarea es un prefijo en lenguaje natural, y el modelo, el objetivo, el entrenamiento y la decodificación son los mismos para todo (2020, p. 2). Incluso la similitud entre oraciones, un número entre 1 y 5, se redondea de a 0,2 y se escribe como cadena («3.8»): la regresión se vuelve una clasificación de 21 clases (2020, p. 9). Si el modelo contestara «hamburger» a una pregunta de inferencia, la respuesta contaría como error; los autores aclaran que nunca lo vieron hacerlo (2020, p. 8).
Cómo funciona
La arquitectura es casi la del Transformer: en la versión base, 12 bloques en el codificador y 12 en el decodificador, cada pila del tamaño de BERT-base, unos 220 millones de parámetros en total (Raffel et al., 2020, p. 11; Alammar y Grootendorst, 2024, p. 128). Las diferencias son de detalle: una normalización simplificada y, en lugar de senos y cosenos, posiciones relativas, un número aprendido según la distancia entre consulta y clave (2020, pp. 4–5).
El preentrenamiento es una variante del modelado enmascarado de BERT: se borran tramos de texto y se los reemplaza por marcadores; el codificador lee la oración agujereada y el decodificador escribe solo lo que falta. De «Thank you for inviting me to your party last week» queda «Thank you ⟨X⟩ me to your party ⟨Y⟩ week», y el objetivo es «⟨X⟩ for inviting ⟨Y⟩ last ⟨Z⟩» (Raffel et al., 2020, p. 13; Alammar y Grootendorst, 2024, p. 129). El corpus es C4 (Colossal Clean Crawled Corpus), unos 750 GB de inglés extraído de Common Crawl en abril de 2019 y filtrado con reglas simples: solo líneas que terminan en puntuación, y fuera las páginas con código, con «lorem ipsum» o con alguna palabra de una lista de términos obscenos (Raffel et al., 2020, pp. 6–7).
Un estudio más que un modelo
El paper es, sobre todo, una batería de ablaciones: compara arquitecturas, objetivos, corpus y estrategias de transferencia, y encuentra que el codificador–decodificador con un objetivo de reconstrucción rinde mejor que las variantes de una sola pila, como un decodificador al estilo GPT (Raffel et al., 2020, p. 19). Con esas conclusiones y con escala (hasta 11.000 millones de parámetros y cerca de un billón de tokens de preentrenamiento), T5 alcanzó el estado del arte en 18 de 24 tareas y casi igualó el desempeño humano en SuperGLUE, 88,9 contra 89,8 (2020, pp. 36–40).
Límites
La ironía es que el heredero de un traductor no superó el estado del arte en ninguna tarea de traducción del WMT, en parte porque se preentrenó solo con inglés (Raffel et al., 2020, p. 40). El filtro de C4 tiene costos: la lista, en su mayoría de términos sexuales, también elimina textos de comunidades LGBTQ que usan esas palabras en sentido reivindicativo (Bender et al., 2021, p. 614). Y la versión de 11B pesa decenas de gigabytes. Su linaje más vivo es Flan-T5, ajustado con más de mil tareas redactadas como instrucciones (Alammar y Grootendorst, 2024, p. 130). La forma sobrevivió también por un camino inverso: T5Gemma toma un modelo solo decodificador ya preentrenado (Gemma 2) y lo adapta a codificador–decodificador; con un presupuesto de inferencia similar rinde parecido en preentrenamiento y bastante mejor tras el ajuste fino (Zhang et al., 2025). Su sucesor, T5Gemma 2, parte de Gemma 3 y acepta imágenes (Zhang y Hora, 2025).