Kaplan et al. (2020) entrenaron transformers de tamaños muy distintos (de unos mil a mil millones de parámetros) y encontraron que la pérdida de test (la entropía cruzada al predecir el próximo token) depende sobre todo de tres cantidades: el número de parámetros N, el tamaño del conjunto de datos D y el cómputo C. Cuando ninguna de las otras dos limita, la relación es una ley de potencia, por ejemplo L(N) = (N_c / N)^0,076, y las tendencias se sostienen a lo largo de más de siete órdenes de magnitud (2020, secs. 1.1–1.2). En cambio, detalles de arquitectura como la proporción entre ancho y profundidad casi no importan.
En un gráfico log–log eso es una recta, y una recta invita a extrapolar: cuánto cómputo hará falta para la próxima mejora. Kaplan y colegas concluían que, con un presupuesto fijo, convenía entrenar modelos muy grandes con relativamente pocos datos. Chinchilla corrigió la receta: parámetros y tokens deben crecer en la misma proporción. Chinchilla, con 70.000 millones de parámetros y 1,4 billones (1,4 × 10¹²) de tokens, unos 20 tokens por parámetro, superó a modelos cuatro veces más grandes entrenados con el mismo cómputo (Hoffmann et al., 2022).
Tres advertencias. Primero, son leyes en sentido fenomenológico, como la ley de Zipf, no derivaciones de primeros principios: resumen inducciones sobre corridas de entrenamiento, y su extrapolación es una apuesta. Segundo, predicen la pérdida, no las capacidades; si una habilidad concreta aparece de golpe o gradualmente es otra discusión (habilidades emergentes). Tercero, alimentaron una lectura radicalmente empirista del progreso: la lección amarga y la hipótesis del escalamiento, según las cuales basta con más datos y cómputo. Buckner (2024) considera que esa lectura extrema no es la lección correcta, aunque la investigación sobre escalamiento sea su combustible (2024, p. 25).