La hipótesis del escalamiento sostiene que, una vez encontrada una arquitectura que escala bien, como el Transformer, basta con entrenar redes cada vez más grandes, con más datos y más cómputo, para que surjan comportamientos cada vez más sofisticados, incluida en el límite la inteligencia general (IAG). Su formulación canónica es de Gwern Branwen (2020), escrita al aparecer GPT-3: las «bendiciones de la escala» (blessings of scale) harían desaparecer muchos problemas de las redes simples cuando se las vuelve muy grandes. Es la versión optimista, de ingeniero, de la lección amarga (Sutton, 2019).
Se apoya en un hallazgo empírico, las leyes de escalamiento: la pérdida de un modelo de lenguaje cae como ley de potencia con el tamaño, los datos y el cómputo, en tendencias que abarcan más de siete órdenes de magnitud (Kaplan et al., 2020). Chinchilla corrigió la receta: con un presupuesto fijo, parámetros y tokens deben crecer a la par, y la mayoría de los modelos grandes estaban subentrenados (Hoffmann et al., 2022). La canción registra la época: «Post-Chinchilla, super-dense» y, sin eufemismos, «Hundred thousand GPU» (osmarks, s. f.).
En San Francisco, creer o no en el escalamiento (estar scale-pilled) define bandos más que cualquier teoría de la mente, y justifica inversiones gigantescas en centros de datos (NVDA a la luna). Las objeciones son de tres tipos. Técnicas: la pérdida es una métrica sustituta, y que baje no garantiza capacidades nuevas; las habilidades emergentes podrían ser en parte un espejismo de la métrica (Schaeffer et al., 2023). Materiales: los datos se agotan; Ilya Sutskever dijo en NeurIPS 2024 que «pre-training as we know it will end», porque hay una sola internet. Conceptuales: una ley de potencia describe una tendencia, no explica qué se aprende; que la curva siga no dice si conduce a la comprensión o a una imitación cada vez mejor. El giro hacia el cómputo en inferencia de los modelos de razonamiento se leyó de ambas maneras: como un nuevo eje de escalamiento o como la admisión de que el viejo se agotaba.