Chinchilla es un modelo de lenguaje de 70.000 millones de parámetros que DeepMind presentó en 2022. Es famoso menos por sí mismo que por la regla que puso a prueba: si el presupuesto de cómputo está fijo, el tamaño del modelo y la cantidad de datos deben crecer juntos (Hoffmann et al., 2022, sec. 1).
La pregunta
Entrenar un modelo grande se hace una sola vez, con una cantidad de aceleradores y de tiempo decidida de antemano. La pregunta práctica es cómo repartir ese presupuesto entre parámetros y tokens. Las leyes de escalamiento de Kaplan et al. (2020) respondían: sobre todo en parámetros. Según su ajuste, el tamaño óptimo crece como C^0,73 y los datos apenas como C^0,27; convenía entrenar modelos enormes y detenerlos mucho antes de la convergencia (2020, secs. 1.1–1.2). La industria siguió la receta: GPT-3, Jurassic-1, Gopher y Megatron-Turing NLG, de 175.000 a 530.000 millones de parámetros, se entrenaron con unos 300.000 millones de tokens (Hoffmann et al., 2022, tabla 1).
Cómo la respondieron
Hoffmann et al. (2022) entrenaron más de 400 modelos, de 70 millones a más de 16.000 millones de parámetros, con entre 5.000 y 500.000 millones de tokens, y estimaron el reparto óptimo por tres métodos distintos (2022, sec. 3). Los tres coincidieron: los exponentes son aproximadamente 0,5 y 0,5. Cada vez que se duplica el modelo hay que duplicar los datos. Sus tablas dan unos 20 tokens por parámetro (1.000 millones de parámetros, 20.200 millones de tokens; 10.000 millones, 205.000 millones), la proporción que después se volvió regla práctica (2022, tabla 3). La diferencia con Kaplan venía en parte del método: aquel trabajo usaba el mismo programa de tasa de aprendizaje para todas las longitudes de entrenamiento y modelos más chicos (2022, sec. 2).
La conclusión implicaba que casi todos los modelos grandes estaban subentrenados. Para probarlo, entrenaron Chinchilla con el mismo presupuesto que Gopher (5,76 × 10²³ FLOPs): un cuarto de los parámetros y 1,4 billones de tokens, con la misma arquitectura de 80 bloques decodificadores pero la mitad de ancha (2022, secs. 3, 4.1). Chinchilla superó a Gopher (280.000 millones), GPT-3, Jurassic-1 y Megatron-Turing NLG en casi todas las evaluaciones y alcanzó 67,6 % en el benchmark MMLU, 7,6 puntos por encima de Gopher (2022, secs. 4.2.2, 5).
Qué cambió
Desde entonces, los datos pasaron a ser un cuello de botella tan importante como los parámetros; los propios autores piden conjuntos más grandes y de mejor calidad, y advierten sobre la toxicidad y la privacidad que traen los billones de tokens extraídos de la web (2022, sec. 5). La receta se volvió a ajustar enseguida: los creadores de LLaMA señalaron que el criterio de Chinchilla ignora el costo de usar el modelo, y entrenaron modelos más chicos por mucho más tiempo; su versión de 13.000 millones supera a GPT-3 en la mayoría de las pruebas siendo diez veces más chica (Touvron, Lavril et al., 2023, sec. 1). Alammar y Grootendorst (2024) registran el efecto sobre el vocabulario: si un modelo diez veces más chico hace lo mismo que GPT-3, ¿sigue siendo «grande» (2024, p. 25)? La expresión «post-Chinchilla» llegó hasta la canción de p(doom), que la usa como marca de época (osmarks, s. f.).
Límites
Los autores reconocen que solo tienen dos entrenamientos grandes comparables, que suponen una ley de potencia cuando hay indicios de curvatura y que todos sus modelos vieron menos de una pasada por los datos (Hoffmann et al., 2022, sec. 5). Esto último importa cuando el texto disponible se agota: con datos limitados, repetir hasta cuatro épocas rinde casi como datos nuevos, pero después el valor del cómputo adicional se desvanece (Muennighoff et al., 2025).