Un decodificador produce una secuencia de a un elemento por vez y usa lo ya producido como entrada del paso siguiente: es autorregresivo (Vaswani et al., 2017, sec. 3). En términos probabilísticos, descompone la probabilidad de una salida en una cadena de probabilidades condicionales:
p(y₁ … yₙ) = Πₜ p(yₜ | y₁ … yₜ₋₁)
(Bahdanau et al., 2015, sec. 2.1).
Tres versiones. (1) En las redes secuencia a secuencia recurrentes, el decodificador era una segunda red recurrente que arrancaba del resumen del codificador (Seq2seq). (2) En el Transformer, cada bloque decodificador tiene autoatención con máscara causal, una capa de atención cruzada hacia el codificador y una red bloque feedforward (Vaswani et al., 2017, sec. 3.1). (3) En los modelos «solo decodificador» desaparecen el codificador y la atención cruzada: queda una pila de bloques con autoatención enmascarada. Así son GPT-1 (un transformer de 12 capas solo decodificador, (Radford et al., 2018, sec. 4.1)), GPT-3, LLaMA, ChatGPT (InstructGPT) y la mayoría de los modelos actuales (Alammar y Grootendorst, 2024, pp. 20–21).
Cómo se genera. Al final de la pila, una «cabeza de modelado de lenguaje» convierte el último vector en un puntaje (logit) para cada token del vocabulario; una estrategia de muestreo elige uno; ese token se agrega al texto y todo vuelve a empezar (Alammar y Grootendorst, 2024, pp. 75–79). El modelo en sí solo predice; el bucle que lo convierte en escritor es un programa externo.
Un nombre heredado. Warren Weaver imaginaba en 1947 que un artículo en ruso era un texto en inglés cifrado con símbolos extraños, que bastaba decodificar (M. Mitchell, 2019, ch. 12). En un traductor la metáfora todavía tiene algo de sentido: hay un mensaje de origen. En un modelo solo decodificador no hay nada que descifrar; el nombre sobrevive a la arquitectura para la que fue pensado. Que un sistema entrenado solo a continuar textos termine respondiendo preguntas es, justamente, lo que vuelve interesante la discusión sobre su comprensión.