Chollet (2021) define el aprendizaje automático como la búsqueda de representaciones útiles dentro de un espacio de posibilidades predefinido, guiada por una señal de retroalimentación: los algoritmos no inventan transformaciones, recorren un conjunto fijado de antemano (2021, sec. 1.1.3).
Aprender es buscar. Witten et al. (2017) lo muestran con un problema de juguete, decidir si se juega según el clima: hay 288 reglas posibles, y los conjuntos de hasta 14 reglas suman unos 2,7 × 10³⁴. Cada ejemplo positivo descarta las descripciones que no lo cubren; cada negativo, las que sí (2017, p. 32). Lo que sobrevive es el espacio de versiones de Mitchell (1982). En la práctica no se enumera: se busca heurísticamente, como hace el descenso por gradiente con los pesos.
Qué lo fija. En una red, la arquitectura: elegir la topología restringe las hipótesis a cierta serie de operaciones, y entrenar es buscar valores para los pesos (Chollet, 2021, sec. 3.6.2). Una capa sin función de activación solo representa transformaciones lineales, y apilar capas lineales no agranda el espacio (2021, sec. 4.1.3). Con una no linealidad, una sola capa oculta con suficientes unidades ya aproxima cualquier función continua (Hornik et al., 1989).
El dilema. Un espacio pobre puede no contener el concepto buscado; uno universal, que admite disyunciones arbitrarias, contiene la «hipótesis» que se limita a enumerar los ejemplos, y eso no es generalizar (Witten et al., 2017, p. 34). Por eso hace falta un sesgo inductivo, que restringe el espacio o fija preferencias dentro de él.
Para lingüistas. Gold (1967) probó que ninguna clase de lenguajes que contenga todos los finitos y al menos uno infinito puede identificarse en el límite solo con ejemplos positivos. Muchos leyeron allí un argumento a favor de un espacio de gramáticas restringido de antemano (ver pobreza del estímulo); qué dice el teorema sobre la adquisición real sigue en discusión.