Donahue et al. (2020) definen el relleno (infilling) como predecir tramos faltantes en cualquier lugar de un documento, de modo que sean coherentes con el texto anterior y con el posterior. El modelado de lenguaje habitual es el caso particular en que el hueco está al final (2020, p. 2492). Su ejemplo: «She ate [blank] for [blank]» → «She ate leftover pasta for lunch».
El problema incluye decidir cuánto texto va en cada hueco. BERT completa posiciones
tapadas con [MASK], pero su atención bidireccional lo ata a huecos de largo conocido
(2020, p. 2492); T5 reemplaza tramos enteros por tokens
centinela y el decodificador escribe solo lo que falta (Raffel et al., 2020, pp. 12–13). Un modelo
autorregresivo, en cambio, solo condiciona sobre lo que está a la izquierda.
La salida práctica fue reordenar los datos, no la arquitectura. Donahue et al. (2020) entrenan a GPT-2 con el texto perforado, un separador y, después, las respuestas (2020, sec. 3). Bavarian et al. (2022) cortan cada documento en prefijo, medio y sufijo, y lo presentan como prefijo, sufijo y medio, con marcas especiales; si se transforma así la mitad de los datos, el modelo aprende a rellenar sin perder la capacidad de escribir de izquierda a derecha («FIM for free») (2022, secs. 1, 3). La motivación es el código: un asistente de programación que escribe la documentación de una función o completa una ya empezada, con código antes y después del cursor (2022, sec. 1). Los modelos de difusión no necesitan el rodeo: como no tienen máscara causal, rellenan condicionando sobre cualquier conjunto de posiciones (Lou et al., 2024, sec. 4.2).
Para lingüistas, el antecedente es la prueba cloze (Taylor, 1953). Donahue et al. (2020) presentan el relleno como su generalización, porque cloze designaba, históricamente, completar palabras sueltas (2020, p. 2492, n. 1). Lo instructivo es la asimetría: para un lector, el contexto derecho ayuda; para un generador de izquierda a derecha, esa ayuda es invisible hasta que se le enseña, con los mismos datos, a leerlos en otro orden.