Ningún conjunto finito de ejemplos determina una única generalización. Tom Mitchell (1980) llamó sesgo a cualquier base para preferir una generalización a otra que no sea la mera consistencia con los ejemplos observados, y mostró que sin sesgo un sistema no puede dar el salto inductivo a casos nuevos. Witten et al. (2017) distinguen tres fuentes: el lenguaje en que pueden expresarse los conceptos, el orden en que se recorre el espacio de hipótesis y la manera de evitar el sobreajuste, por ejemplo prefiriendo lo simple (2017, p. 33). Concluyen que el sesgo es lo único que vuelve factible el aprendizaje y que no hay un método universalmente mejor (2017, p. 35).
En las redes, el sesgo vive sobre todo en la arquitectura. Chollet (2021) lo dice sin vueltas: para aprender de los datos hay que hacer supuestos sobre ellos, y la arquitectura codifica esos supuestos, el conocimiento previo con que el modelo empieza (2021, sec. 3.6.2). Una red convolucional supone que un patrón significa lo mismo en cualquier lugar de la imagen; la atención trata la entrada como un conjunto sin orden (Buckner, 2024, p. 23), y por eso hay que agregarle una codificación posicional. Vision Transformer (ViT), con menos supuestos visuales que una red convolucional, necesita muchos más datos (Dosovitskiy et al., 2021).
El filósofo reconocerá el nuevo enigma de la inducción de Goodman (1954/1983): las mismas esmeraldas observadas confirman «todas las esmeraldas son verdes» y «todas son verdules», y solo una preferencia previa por ciertos predicados decide. También reconocerá el debate entre empiristas e innatistas. Gary Marcus leyó la invariancia por traslación de las redes convolucionales como conocimiento a priori que contradice el empirismo de sus autores; Buckner (2024) responde que un sesgo general, aplicable a cualquier dato con la estructura adecuada, está muy lejos de las ideas innatas de Descartes o Leibniz, y que la pregunta real es cuánto conocimiento específico puede extraerse de la experiencia con sesgos generales (2024, pp. 20–23) (ver empirismo vs innatismo).