LLaMA es una familia de cuatro decodificadores transformer, de 7.000 a 65.000 millones de parámetros, que Meta AI presentó en febrero de 2023. Su arquitectura es convencional; su importancia está en dos decisiones: entrenar modelos chicos durante muchísimo más tiempo, y usar solo datos públicamente disponibles para poder distribuir los pesos a la comunidad de investigación (Touvron, Lavril et al., 2023).
Cómo funciona
Es un modelo de lenguaje autorregresivo como GPT-3, con tres retoques tomados de otros modelos: normaliza la entrada de cada subcapa (prenormalización, con RMSNorm), usa la activación SwiGLU en la red feedforward y reemplaza la codificación posicional absoluta por embeddings rotatorios (RoPE), que se aplican dentro de la atención (Touvron, Lavril et al., 2023, sec. 2.2). Alammar y Grootendorst (2024) presentan justamente estos cambios como los rasgos del bloque transformer típico de 2024, el de Llama 3 (2024, pp. 101–103). El tokenizador es BPE y separa los números en dígitos.
Los datos suman 1,4 billones de tokens: dos tercios de CommonCrawl filtrado, más C4, GitHub, la Wikipedia en veinte idiomas, libros, arXiv y StackExchange. Los modelos de 7.000 y 13.000 millones vieron 1 billón de tokens; los de 33.000 y 65.000, 1,4 billones. El más grande se entrenó durante unos 21 días en 2.048 GPU A100 (Touvron, Lavril et al., 2023, secs. 2.1 y 2.4).
Qué cambió
Chinchilla había mostrado cómo repartir un presupuesto fijo de cómputo entre parámetros y datos (Hoffmann et al., 2022). Touvron y colegas objetaron que ese cálculo ignora el costo de usar el modelo: para un nivel de desempeño dado, conviene uno más chico entrenado más tiempo, aunque sea más caro de entrenar. Donde Chinchilla recomendaba un modelo de 10.000 millones con 200.000 millones de tokens, ellos observaron que uno de 7.000 millones seguía mejorando después de un billón (Touvron, Lavril et al., 2023, sec. 1). Resultado: LLaMA-13B superó a GPT-3 (175.000 millones) en la mayoría de los benchmarks siendo diez veces más chico, y LLaMA-65B compitió con Chinchilla-70B y PaLM-540B.
La fuga
Meta lo liberó el 24 de febrero de 2023 bajo una licencia no comercial, a pedido y caso por caso. El 3 de marzo alguien publicó un torrent con los pesos en 4chan. Lo que siguió fue un ecosistema: el 10 de marzo Georgi Gerganov publicó llama.cpp, cuyo objetivo declarado era correr el modelo cuantizado a 4 bits en una MacBook; el 13, Stanford presentó Alpaca, un LLaMA-7B ajustado con 52.000 instrucciones generadas por un modelo de OpenAI, por menos de 600 dólares. Cuantizar es guardar cada peso con menos bits, como decir «son las 14:16» sin los segundos (Alammar y Grootendorst, 2024, pp. 200–201): el modelo de 7.000 millones pasa de unos 13 GB a unos 4. En julio llegó Llama 2, entrenado con 2 billones de tokens (Alammar y Grootendorst, 2024, p. 26), con el doble de ventana y liberado, según su propio artículo, «for research and commercial use».
Límites
LLaMA es un modelo base: no sigue instrucciones ni conversa. Su ventana es de 2.048 tokens, y el propio artículo documenta sesgos y toxicidad heredados de la web. Además, «abierto» es un término en disputa: se distribuyen los pesos, pero rara vez el código de entrenamiento o los datos, y las licencias imponen restricciones (Alammar y Grootendorst, 2024, p. 30). Uno de sus corpus, Books3, provenía de un sitio de libros pirateados y fue dado de baja en julio de 2023 por reclamos de derechos de autor.