En el modelado enmascarado se toma una oración, se tapa una parte de sus tokens y
se le pide al modelo que los adivine. La corrección no la hace nadie: la respuesta correcta
ya está en el texto original, y por eso se trata de aprendizaje
autosupervisado. En BERT se ocultaba el 15 % de los tokens, casi siempre
reemplazándolos por un símbolo especial [MASK] (Devlin et al., 2019, p. 4174).
El gato se [MASK] sobre la alfombra. → sentó (probabilidad alta), durmió, echó…
A diferencia de la predicción del siguiente token, que solo permite mirar hacia la izquierda, el enmascarado deja que cada posición use todo el contexto, a izquierda y derecha. Eso produce mejores representaciones para clasificar o buscar, pero un modelo entrenado así no sabe escribir de corrido: no aprendió a continuar un texto, sino a reparar huecos (Alammar y Grootendorst, 2024, p. 19).
La idea tiene un antecedente humano explícito: la prueba cloze que la psicología de la lectura usa desde los años cincuenta para medir comprensión, completando palabras borradas (Taylor, 1953). Que la misma tarea sirva para evaluar lectores y para entrenar máquinas invita a preguntarse qué mide exactamente: ¿comprensión, o dominio de las regularidades de distribución de las palabras?