ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Matemática mínima

MT043

Hipótesis de la variedad

También: hipótesis de la variedad latente, dimensión intrínseca

En inglés: Manifold hypothesis

Conjetura según la cual los datos naturales, aunque ocupen espacios de miles de dimensiones, se concentran cerca de una superficie de dimensión mucho menor.

Una variedad (manifold) es un subespacio que, visto de cerca, se parece a un espacio euclídeo: una curva suave en el plano es una variedad de dimensión 1; una superficie en el espacio, de dimensión 2. La hipótesis afirma que los datos naturales (rostros, voces, dígitos manuscritos) viven cerca de una variedad de baja dimensión dentro del enorme espacio en que se los codifica (Chollet, 2021, sec. 5.1.2).

Evidencia. Es una tesis empírica y puede ponerse a prueba: Fefferman, Mitter y Narayanan (2016) dieron un algoritmo que, a partir de muestras, decide si alguna variedad de cierta dimensión y curvatura acotada se ajusta bien a los datos. Pope y colegas (2021) estimaron que las imágenes de ImageNet, de 224 × 224 × 3 = 150.528 valores, tienen una dimensión intrínseca de entre 26 y 43, y que los ejemplos necesarios para aprender dependen de esa dimensión y no de la del espacio ambiente. Es la respuesta habitual a la maldición de la dimensionalidad.

Consecuencias. Si vale, aprender es en buena parte encontrar coordenadas para la variedad, como hace un autocodificador al comprimir (ver espacio latente); y generalizar es interpolar sobre ella, lo que exige un muestreo denso de la variedad (Chollet, 2021, sec. 5.1.2).

Mente y cerebro. DiCarlo, Zoccolan y Rust (2012) describen el reconocimiento visual como el desenredo de variedades de objetos que la variación irrelevante (posición, iluminación) deja enredadas «como pedazos de papel arrugados en una bola» [trad. propia] (Buckner, 2024, p. 115). Buckner toma la imagen para pensar las categorías como regiones de un espacio de semejanza que la red transforma hasta volverlas separables (2024, pp. 114–115) (ver abstracción).

Una advertencia para lingüistas. Chollet extiende la hipótesis al lenguaje natural (2021, sec. 5.1.2), pero el texto es una sucesión de símbolos discretos, y una variedad es un objeto continuo. En sentido estricto, la tesis puede valer para las representaciones del texto (embeddings, estados ocultos), no para las cadenas mismas.

Fuentes

  • Buckner, C. J. (2024). From deep learning to rational machines: What the history of philosophy can teach us about the future of artificial intelligence. Oxford University Press. https://doi.org/10.1093/oso/9780197653302.001.0001 §
  • Chollet, F. (2021). Deep learning with Python (2nd ed.). Manning Publications. §