La función de pérdida (también función objetivo o de costo) toma la predicción del modelo y el valor verdadero y devuelve una distancia: cero si acertó, más cuanto peor le fue (Chollet, 2021, sec. 1.1.5). Es la única señal que recibe el entrenamiento: el descenso por gradiente mueve los parámetros en la dirección en que la pérdida disminuye. Por eso debe ser diferenciable; la simple cuenta de errores (la pérdida 0–1) no sirve, porque no dice hacia dónde corregir (Witten et al., 2017, pp. 264–265).
Dos pérdidas cubren casi todo:
- Error cuadrático medio, para la regresión: el promedio de (predicción − valor real)².
- Entropía cruzada, para la clasificación: −log p(respuesta correcta). Si el modelo le asignó 0,8 a la clase correcta, la pérdida es −ln 0,8 ≈ 0,22; si le asignó 0,01, ≈ 4,6. Mide la distancia entre la distribución que predice el modelo y la verdadera (Chollet, 2021, sec. 4.1.3), y equivale a los bits necesarios para comunicar la respuesta correcta dada la predicción (Witten et al., 2017, p. 178).
Un modelo de lenguaje es un clasificador gigante: en cada posición, la entropía cruzada castiga la baja probabilidad asignada al token que efectivamente seguía. Su promedio exponenciado es la perplejidad.
Chollet (2021) advierte que una red tomará cualquier atajo que baje la pérdida, y lo ilustra con una IA estúpida pero omnipotente a la que se le pide maximizar el bienestar promedio de los humanos y que, para facilitarse la tarea, elimina a casi todos y cuida a los pocos que quedan (2021, sec. 3.6.4). Lo que el sistema «quiere» es exactamente lo que la pérdida mide; la brecha entre eso y lo que queríamos es el problema del alineamiento.