Un modelo define una familia de funciones; los parámetros son las perillas que eligen una de ellas. En una regresión lineal son los coeficientes que multiplican cada atributo (Witten et al., 2017, p. 68); en una red neuronal son los pesos de las conexiones entre unidades y los sesgos (biases) que se suman en cada una. Chollet (2021) lo formula así: lo que una capa le hace a su entrada está almacenado en sus pesos, y aprender es encontrar valores para todos ellos que hagan corresponder las entradas de ejemplo con sus salidas esperadas (2021, sec. 1.1.5). Al comienzo se inicializan al azar; el descenso por gradiente los corrige de a poco.
Contar parámetros es la manera estándar de medir el tamaño de un modelo. La red de dígitos que M. Mitchell (2019) usa como ejemplo, con 324 entradas, 50 unidades ocultas y 10 salidas, tiene 16.700 pesos (2019, ch. 2); BERT-base tiene 110 millones (Devlin et al., 2019, p. 4173) y GPT-3, 175.000 millones (Brown et al., 2020, sec. 2.1). Multiplicados por los bytes que ocupa cada uno, dan el «peso» de la ficha Pokédex (ver estadísticas base).
Dos confusiones frecuentes. Los parámetros no son los hiperparámetros, que se fijan antes de entrenar y el entrenamiento no toca. Y un parámetro individual casi nunca significa algo por sí solo: cuando Alammar y Grootendorst (2024) escriben que cada parámetro representa la comprensión del lenguaje por parte del modelo (2024, p. 20), la frase vale para el conjunto, no para cada número. El conocimiento está distribuido.
El lingüista notará además un falso amigo. En la teoría de principios y parámetros de Chomsky (1981), los parámetros son unos pocos interruptores, casi siempre binarios, que la experiencia fija sobre una gramática universal innata. Aquí son miles de millones de números reales, y lo que no se aprende no son principios lingüísticos sino decisiones de ingeniería: la arquitectura y los hiperparámetros.