La palabra viene de la agrimensura. Un bench mark era un punto de referencia de altura conocida sobre el que se apoyaba un soporte, el bench, para la mira de nivelación; el sentido figurado de «patrón con el cual comparar» es de fines del siglo XIX (Harper, s. f.). La práctica sigue viva: la red de nivelación argentina tiene 33.892 pilares junto a rutas y caminos, todos referidos a un origen fijado en 1923 con el mareógrafo de Mar del Plata (Instituto Geográfico Nacional, s. f.). La metáfora es justa: un benchmark no mide alturas absolutas sino diferencias respecto de un punto fijo compartido.
¿Cómo saber si un modelo es mejor que otro? Se lo puede juzgar por vibes: usarlo, tirarle un problema que uno cree imposible y quedarse con la boca abierta si lo resuelve, lo que puede ser suerte o justo el tipo de problema para el que fue entrenado. Se puede poner a expertos a evaluarlo en su especialidad, mejor pero caro y también falible. Se lo puede abrir y mirar adentro (interpretabilidad), algo todavía lento y parcial, e imposible si los pesos no son públicos. O se le pueden tomar exámenes estandarizados.
Un benchmark es un examen estandarizado para máquinas: entradas cuya respuesta correcta se conoce y una manera de puntuar. Sus virtudes son obvias (es reproducible, igual para todos, barato de correr) y ha sido uno de los grandes motores del progreso en IA, como mostró la competencia ImageNet (Chollet, 2019, sec. I.3.1). Para los modelos de lenguaje se usan, entre otros, MMLU, con preguntas de 57 materias (Hendrycks et al., 2021), GLUE, HellaSwag o HumanEval, para programación (Alammar y Grootendorst, 2024, pp. 374–375).
Millière y Buckner (2024b) enumeran cuatro problemas (2024b, sec. 2.1): saturación (los modelos superan la línea de base humana cada vez más rápido), gamificación (optimizar para la tabla de posiciones; un caso de la ley de Goodhart: cuando una medida se vuelve objetivo, deja de ser buena medida (Alammar y Grootendorst, 2024, p. 377)), contaminación y falta de validez de constructo: que un test mida una capacidad en humanos no garantiza que mida lo mismo en un sistema con otra arquitectura.
El riesgo mayor es el de Hans el Listo, el caballo que parecía calcular pero respondía a gestos involuntarios de quien le preguntaba (Pfungst, 1907/1911). Un modelo puede acertar por atajos. BERT alcanzó un 77 % en una tarea de comprensión de argumentos, cerca de la línea de base humana, pero el resultado se explicaba por pistas espurias de los datos, y en una versión adversarial cayó al azar (Niven y Kao, 2019). McCoy et al. (2019) mostraron que modelos de inferencia con buenos puntajes fracasaban en un conjunto diseñado para desactivar heurísticas como «si todas las palabras de la hipótesis están en la premisa, hay implicación». M. Mitchell (2019) describe la receta recurrente: definir una tarea estrecha, superar la marca humana y anunciar que la máquina alcanzó el nivel humano en algo mucho más amplio, como la «comprensión lectora» (2019, ch. 13).
La crítica tiene contracara. Si cada prueba superada se declara insuficiente, los arcos se mueven sin fin (Buckner, 2024, p. 281). Millière y Buckner recuerdan que la distinción entre competencia y desempeño corta en ambos sentidos: un buen puntaje no prueba competencia, pero un error tampoco prueba su ausencia (Millière y Buckner, 2024b, sec. 2.1). De ahí las propuestas de medir la eficiencia para adquirir habilidades en lugar de la habilidad (ver medir la inteligencia) o de complementar la conducta con evidencia mecanicista. Todo esto es caro, lento e ingrato: hay mucho más dinero en construir modelos que en evaluarlos, y sin buenas pruebas tampoco se sabe qué líneas de investigación vale la pena seguir.