La máscara causal se aplica dentro de la autoatención: antes de la softmax, los puntajes de las posiciones posteriores a la actual se reemplazan por −∞, de modo que su peso resulta exactamente 0 (Vaswani et al., 2017, sec. 3.2.3). Vista como matriz, deja visible solo el triángulo inferior. Para la oración «El gato se sentó»:
El gato se sentó
El ✓ · · ·
gato ✓ ✓ · ·
se ✓ ✓ ✓ ·
sentó ✓ ✓ ✓ ✓
Por qué existe. Un modelo de lenguaje generativo se entrena con la predicción del siguiente token. Gracias a la máscara, una sola pasada sobre un texto de n tokens entrena n predicciones a la vez, cada una sin «espiar» la respuesta: sin máscara, predecir sentó mirando sentó sería trivial (Alammar y Grootendorst, 2024, p. 17; Buckner, 2024, p. 274). En la generación el problema no se plantea (el futuro todavía no existe), pero la máscara asegura que el modelo funcione igual que como fue entrenado.
Quién la tiene. El decodificador del Transformer original; y toda la familia de decodificadores solos, de GPT-1 (cuyos autores hablan de cabezas de autoatención enmascarada, (Radford et al., 2018, sec. 4.1)) a GPT-3, LLaMA y ChatGPT (InstructGPT). BERT, en cambio, no la usa: puede mirar a ambos lados, y de ahí la B de bidirectional (Alammar y Grootendorst, 2024, p. 97). Esa es la diferencia técnica entre modelos que escriben y modelos que solo representan.
Un nombre engañoso. «Causal» no tiene que ver con causas: significa solo que el orden temporal se respeta. Llamarla «máscara autorregresiva» sería más exacto.
Un ángulo lingüístico. Los humanos también procesamos el lenguaje de manera incremental, y hubo debate sobre si la atención unidireccional es más plausible que la bidireccional. Buckner (2024) reseña estudios en los que los modelos de la familia GPT fueron los que mejor predijeron la actividad de áreas temporales izquierdas asociadas al lenguaje, aunque con métricas cuya epistemología todavía se discute (2024, pp. 276–277).