Los embeddings de los modelos actuales viven en espacios de 384, 768 o 3.072 dimensiones (Alammar y Grootendorst, 2024, pp. 60, 62, 79). Nadie puede visualizarlos, y las analogías con el plano engañan: como advierten Witten et al., en espacios de alta dimensión nuestras intuiciones tienden a extraviarse (2017, p. 87).
Ejemplo mínimo. En un cubo de lado 1, ¿qué fracción del volumen queda a menos de 0,05 de algún borde? Es 1 − 0,9ᵈ, donde d es la dimensión. Para d = 2, el 19 %; para d = 10, el 65 %; para d = 100, el 99,997 %. En alta dimensión casi todo el volumen está «en la cáscara», y casi ningún punto está en el «centro».
De ahí la llamada maldición de la dimensionalidad, expresión que se atribuye al matemático Richard Bellman: el volumen del espacio crece exponencialmente con la cantidad de ejes. Si se divide cada eje en 10 intervalos, hay 10ᵈ celdas: mil para d = 3, un número astronómico para d = 768. Ningún conjunto de datos puede «llenar» ese espacio, y los métodos basados en distancias, como los k vecinos más cercanos, sufren especialmente cuando hay muchos atributos irrelevantes (Witten et al., 2017, p. 290).
¿Por qué funciona entonces el aprendizaje profundo? Una respuesta influyente es la hipótesis de la variedad (manifold hypothesis): los datos naturales no ocupan todo el espacio sino una región de baja dimensión dentro de él, y aprender consiste en buena medida en descubrir esa región y «desarrugarla» (Chollet, 2021, sec. 5.1). Chollet la presenta como una afirmación fuerte sobre la estructura de la información, probablemente verdadera; y advierte que interpolar dentro de esa región da una generalización local, no la generalización extrema de la que son capaces los humanos. Ver también espacio latente.