ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Interpretabilidad y evaluación

MT173

Validez de constructo

También: validez del constructo

En inglés: Construct validity

Grado en que una prueba mide la capacidad teórica que dice medir, y no otra cosa que casualmente se le parece o la acompaña.

El concepto viene de la psicometría: Cronbach y Meehl (1955) llamaron constructo a la capacidad teórica que un test pretende medir (inteligencia, comprensión lectora, ansiedad) cuando no hay un criterio externo que la defina, y validez de constructo a la red de razones que justifica leer los puntajes como medidas de esa capacidad.

Un puntaje casi nunca importa por sí mismo. Que una computadora saque tanto en un benchmark gráfico interesa porque anticipa cómo correrá los juegos que uno de verdad va a jugar; que un modelo saque tanto en un examen de matemática interesa si dice algo sobre lo que puede hacer que no es el examen. Los docentes conocen el problema. Una evaluación no es un informe que el profesor encarga para aprender algo: sirve para diagnosticar (y también para formar), es decir, para tener razones para atribuirle a alguien una competencia, una disposición a resolver problemas parecidos en otras circunstancias. El examen de manejo no es un mero trámite: otorga un permiso porque atribuye una competencia, y con ella una responsabilidad.

Con los sistemas de IA la atribución es más frágil. Un test diseñado para humanos presupone cosas sobre cómo se llega a una respuesta que pueden no valer para otra arquitectura (Millière y Buckner, 2024b, sec. 2.1), y un modelo puede acertar por atajos o por contaminación. Raji et al. (2021) critican los benchmarks que se presentan como medidas de capacidades «generales» sin un constructo definido: una colección finita de tareas no puede representar «todo en el mundo». Hernández-Orallo (2017) propone, en cambio, una psicometría universal que valga para humanos, animales y máquinas.

La IAG agrava el problema: habría que fijar primero un constructo de «inteligencia general» y luego tareas que, resueltas, den razones genuinas para atribuirla; las del tipo «si resuelve esto, le confío mis finanzas». ¿Y cómo sería el benchmark de una superinteligencia? Puede que no lo notáramos.

Fuentes