Cada parámetro de una red es un número con cierta precisión. En 32 bits ocupa 4 bytes; en 16, dos; en 8, uno; en 4, medio byte. La cuenta es simple y decisiva: un modelo de 7.000 millones de parámetros pesa unos 14 GB en 16 bits y unos 3,5 GB en 4 bits, que es la diferencia entre necesitar una GPU de centro de datos y poder correrlo en una computadora personal. Cuantizar es reducir esos bits intentando conservar la información importante (Alammar y Grootendorst, 2024, pp. 200–201).
Alammar y Grootendorst (2024) lo explican con una analogía: si alguien pregunta la hora, decimos «14:16» y no «14:16 con 12 segundos»; se pierde precisión, no información relevante (2024, p. 201). Como regla práctica recomiendan no bajar de 4 bits: con 3 o 2 la degradación se nota y conviene más un modelo chico con mayor precisión. Chollet (2021) ya describía la versión clásica: pasar pesos de 32 bits a enteros de 8 bits produce un modelo solo para inferencia cuatro veces más chico y casi igual de preciso (2021, sec. 6.3.2).
Con los modelos de lenguaje grandes apareció una complicación: a partir de unos 6.700 millones de parámetros surgen dimensiones con valores atípicos enormes que arruinan la cuantización ingenua. LLM.int8() las separa y las multiplica en 16 bits, mientras más del 99,9 % de los valores se procesan en 8, lo que reduce a la mitad la memoria de inferencia sin pérdida medible (Dettmers et al., 2022). QLoRA, por su parte, cuantiza a 4 bits con bloques que respetan la distribución de los pesos, y permite así hacer ajuste fino en hardware modesto (Alammar y Grootendorst, 2024, pp. 364–367).
La cuantización es una de las razones por las que los modelos de pesos abiertos como LLaMA se volvieron un fenómeno doméstico, y un buen ejemplo de que el conocimiento de una red es tolerante al ruido: sobrevive a que cada peso se redondee.