Los parámetros los ajusta el descenso por gradiente; los hiperparámetros los elige una persona, o un procedimiento de búsqueda, antes de empezar. Witten et al. (2017) dan un ejemplo sencillo: la k de k vecinos más cercanos, cuántos vecinos se consultan para clasificar (2017, p. 171). Chollet (2021) traza la frontera en las redes: el número y el tamaño de las capas son hiperparámetros; los pesos, parámetros (2021, sec. 5.2.1). Otros típicos son la tasa de aprendizaje, el tamaño del lote, la cantidad de épocas o la proporción de dropout. La tabla de GPT-3 los enumera junto a la arquitectura: 96 capas, lotes de 3,2 millones de tokens, tasa de aprendizaje de 0,6 × 10⁻⁴ (Brown et al., 2020, sec. 2.1).
Se eligen probando: se entrenan variantes y se comparan en el conjunto de validación, nunca en el de prueba, porque mirar la prueba para decidir sesga la estimación final (Witten et al., 2017, p. 171) (ver conjuntos de entrenamiento, validación y prueba). M. Mitchell (2019) subraya lo que esto dice sobre la supuesta autonomía del aprendizaje: es inexacto afirmar que una red aprende «sola», porque los hiperparámetros son todo lo que los humanos deben fijar para que el aprendizaje pueda siquiera empezar, y ajustarlos bien es un saber artesanal que Eric Horvitz comparó con la alquimia (2019, ch. 6).
Filosóficamente, los hiperparámetros son el lugar donde se esconde lo «innato» de un sistema que se presenta como empirista. Cuando Gary Marcus objetó que AlphaZero, sucesor de AlphaGo, tenía el tamaño de sus capas convolucionales ajustado al go antes de entrenar, Buckner (2024) concedió que eso es más sospechoso que un sesgo general, aunque advirtió que no está claro que el tamaño de una capa equivalga al tipo de conocimiento innato que defendían los racionalistas (2024, p. 20) (ver sesgo inductivo y empirismo vs innatismo).