Hinton et al. (2015) abren su artículo con una imagen biológica: muchos insectos tienen una forma larval optimizada para alimentarse y una adulta optimizada para moverse y reproducirse. Del mismo modo, conviene entrenar un modelo enorme y engorroso para extraer estructura de los datos, y después pasar su conocimiento a uno chico, apto para el uso cotidiano (2015, sec. 1).
La clave está en qué se imita. Un clasificador entrenado no solo acierta: también reparte probabilidad entre las respuestas equivocadas, y ese reparto es informativo. Una foto de un BMW tiene una probabilidad mínima de confundirse con un camión de basura, pero esa confusión es muchísimo más probable que confundirla con una zanahoria. El alumno aprende de estas «etiquetas blandas» (la distribución completa) y no solo de la respuesta correcta. Para que esas probabilidades minúsculas pesen, se sube la temperatura del softmax del maestro y del alumno durante el entrenamiento (2015, sec. 2).
El caso más conocido en lenguaje es DistilBERT: un 40 % más chico que BERT, un 60 % más rápido y con el 97 % de su capacidad en las pruebas de comprensión (Sanh et al., 2019). La idea también circula entre modelos generativos: DeepSeek destiló el razonamiento de su modelo R1 en modelos más chicos y los publicó (Guo et al., 2025).
La destilación desafía una intuición que los propios autores señalan: solemos identificar el conocimiento de un modelo con los valores de sus parámetros, y eso hace difícil ver cómo cambiar la forma del modelo conservando el conocimiento. La alternativa es pensar el conocimiento como una función de entradas a salidas, independiente de su implementación (2015, sec. 1). Es un argumento de realizabilidad múltiple en miniatura: si dos redes distintas computan casi la misma función, ¿saben lo mismo?