ElemedexEnciclopedia de bolsillo de arquitecturas de IA

Glosario (MT) › Fundamentos del aprendizaje automático

MT006

Estadísticas base (cómo leer una entrada)

También: ficha Pokédex, altura, peso

En inglés: Base stats (how to read an entry)

Guía para leer una ficha de Elemedex: qué miden las seis estadísticas base, la altura, el peso, los tipos, los movimientos y el resto de los campos.

Cada especie tiene una ficha al estilo Pokédex. Las estadísticas base van de 0 a 100 y son ordinales y aproximadas: sirven para comparar especies, no para medirlas. Las tres primeras (cantidad de parámetros, de datos en ejemplos o tokens y de cómputo de entrenamiento) usan escala logarítmica.

Estadística Qué mide Anclas
Parámetros números ajustables 15 ≈ 10³ · 45 ≈ 10⁸ · 75 ≈ 10¹¹ · 90 ≈ 10¹²
Datos ejemplos o tokens 10 = una planilla · 45 ≈ 10⁸ · 90 ≈ 10¹³
Cómputo FLOPs de entrenamiento 5 = lápiz · 45 ≈ 10¹⁹ · 90 ≈ 10²⁵
Contexto cuánta entrada considera a la vez 0 = un solo vector · 25 ≈ 512 tokens · 80 ≈ 128k
Generalidad variedad de tareas 10 = una · 40 = muchas con ajuste fino · 70 = muchas con prompts
Transparencia cuán legible es 95 = árbol pequeño · 60 = modelo lineal · 10 = caja negra

La ficha de datos agrega cifras duras. La altura es el número de capas: BERT-base mide 12 (Devlin et al., 2019, p. 4173). El peso es lo que ocupan los parámetros en memoria: en precisión fp32 cada uno ocupa 4 bytes, así que los 110 millones de BERT-base pesan ≈ 440 MB y los 175.000 millones de GPT-3 ≈ 700 GB (Brown et al., 2020, sec. 2.1); en fp16, la mitad, y menos aún con cuantización.

Los tipos (uno o dos por especie, como Neuronal o Recurrente) indican la familia de ideas a la que pertenece. El tipo de especie distingue arquitectura, modelo, algoritmo, sistema o unidad (ver modelo). Los movimientos son lo que sabe hacer; las habilidades, sus rasgos arquitectónicos distintivos; las debilidades, sus límites conocidos. El hábitat dice con qué datos creció y dónde se la encuentra hoy. La cadena evolutiva la conecta con sus ancestros y dice qué cambió. La anatomía es un diagrama de sus piezas, que se lee de abajo hacia arriba, como la figura del transformer original. La nota del profesor abre una discusión filosófica para llevar a clase.

Las estadísticas son una caricatura útil: un conteo de parámetros no dice cuántos se usan a la vez (mezcla de expertos), y la transparencia no es una propiedad simple (interpretabilidad).

Fuentes

  • Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., . . . Amodei, D. (2020). Language models are few-shot learners. In Advances in Neural Information Processing Systems (Vol. 33, pp. 1877–1901). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html §
  • Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In J. Burstein, C. Doran, & T. Solorio (Eds.), Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 4171–4186). Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1423 §