La regla más básica del aprendizaje automático es no evaluar con datos que el modelo ya vio: el conjunto de prueba debe estar separado del de entrenamiento, porque cualquier filtración de información hacia el modelo arruina la medida de generalización. Evaluar sobre parte de los datos de entrenamiento es, dice Chollet (2021), lo peor que se puede hacer (2021, sec. 5.2).
Con los grandes modelos de lenguaje, la regla es difícil de cumplir. Se entrenan con buena parte de la web (ver corpus), y los benchmarks circulan por la web: se copian, se discuten, se publican con sus soluciones. Los autores de GPT-3 armaron, para cada benchmark, una versión «limpia» sin los ejemplos que compartían 13 palabras seguidas con los datos de entrenamiento, y en la mayoría de los casos el puntaje apenas cambió (Brown et al., 2020, sec. 4); en la versión extendida del artículo (arXiv:2005.14165) admiten, además, que un error de filtrado dejó solapamientos y que reentrenar era demasiado caro. Detectar la contaminación tampoco es trivial: una paráfrasis esquiva la búsqueda de coincidencias literales, y hay indicios de que GPT-4 había visto soluciones de problemas de programación competitiva y rendía mucho peor en los que no estaban en sus datos (Millière y Buckner, 2024b, sec. 2.1). Sainz et al. (2023) distinguen grados de contaminación; el peor es que el modelo haya visto la partición de prueba misma.
Hay además un dilema de diseño. Para que una prueba sea repetible y justa conviene publicarla, pero lo público termina en los datos de entrenamiento de los modelos siguientes, y un laboratorio puede incluso entrenar a propósito sobre ella: el modelo queda excelente en el benchmark sin ser bueno en lo que el benchmark quería medir (ver ley de Goodhart y validez de constructo). Una salida es guardar una parte en secreto, como las tareas privadas de ARC (Chollet, 2019, sec. III.1.1), a costa de transparencia.
El resultado es un Hans el Listo de nuevo tipo: el modelo no lee los gestos del examinador, sino que recuerda el examen. Chollet (2019) da la versión general del problema: con datos ilimitados sobre una tarea conocida de antemano se puede «comprar» habilidad sin generalización (2019, sec. II.1.1). La contaminación es el caso extremo.
La frontera, sin embargo, es borrosa. ¿Cuándo reconocer un problema parecido a uno ya visto es memoria y cuándo es aprendizaje? Con estudiantes hacemos la misma pregunta (¿entendió o se aprendió las respuestas?); la diferencia es que del estudiante sabemos, más o menos, qué libros leyó.