El conjunto de textos con que se entrena un modelo; en los LLMs, cientos de miles de millones o billones de tokens tomados, sobre todo, de la web.
En lingüística, un corpus es una muestra de textos elegida con criterios: el Brown Corpus
(Francis y Kučera, 1964/1979) reunía alrededor de un millón de palabras en 500 muestras de quince
géneros. Los corpus de entrenamiento de los LLMs se parecen más a una cosecha: se junta todo lo
disponible y se filtra.
Algunos hitos. BooksCorpus: unos 7.000 libros inéditos, usado por GPT-1 y, junto con
Wikipedia, por BERT (800 y 2.500 millones de palabras, respectivamente)
(Radford et al., 2018, sec. 4.1; Devlin et al., 2019, p. 4175). WebText: para GPT-2, el texto de
los enlaces salientes de Reddit que habían recibido al menos 3 de karma, un filtro humano
indirecto; unos 8 millones de documentos y 40 GB, sin Wikipedia
(Radford et al., 2019, sec. 2.1). Common Crawl: un archivo público de la web, del que
GPT-3 tomó 45 TB comprimidos que tras el filtrado quedaron en 570 GB
(Brown et al., 2020, sec. 2.2). C4: Common Crawl limpiado con heurísticas (solo líneas que terminan
en puntuación; fuera toda página con una palabra de una lista de «malas palabras» o con una
llave {; solo texto clasificado como inglés), unos 750 GB (Raffel et al., 2020, pp. 6–7). The
Pile: 825 GiB de inglés en 22 subconjuntos, muchos de origen académico o profesional
(Gao et al., 2020).
Ejemplo mínimo de lo que implica mezclar. GPT-3 no leyó sus fuentes en proporción a su
tamaño: Common Crawl filtrado (410.000 millones de tokens) pesaba el 60 % de la mezcla, y
Wikipedia (3.000 millones) el 3 %; pero Wikipedia se recorrió 3,4 veces y Common Crawl menos de
una (Brown et al., 2020, sec. 2.2). Armar un corpus es tomar decisiones editoriales.
Esas decisiones importan. Los filtros definen qué cuenta como «texto de calidad» y qué voces
quedan afuera; que un corpus sea enorme no garantiza que sea diverso (Bender et al., 2021). La escala
también dificulta saber qué hay adentro, incluidas las preguntas de los
bancos de prueba (ver contaminación de datos); de ahí las
propuestas de documentar cada conjunto con una ficha técnica (Gebru et al., 2021).
Fuentes
- Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? 🦜. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (pp. 610–623). Association for Computing Machinery. https://doi.org/10.1145/3442188.3445922 §
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., . . . Amodei, D. (2020). Language models are few-shot learners. In Advances in Neural Information Processing Systems (Vol. 33, pp. 1877–1901). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html §
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In J. Burstein, C. Doran, & T. Solorio (Eds.), Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 4171–4186). Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1423 §
- Francis, W. N., & Kučera, H. (1979). Manual of information to accompany A Standard Corpus of Present-Day Edited American English, for use with digital computers (Rev. and amplified ed.). Department of Linguistics, Brown University. http://korpus.uib.no/icame/manuals/BROWN/INDEX.HTM (Original work published 1964) §
- Gao, L., Biderman, S., Black, S., Golding, L., Hoppe, T., Foster, C., Phang, J., He, H., Thite, A., Nabeshima, N., Presser, S., & Leahy, C. (2020). The Pile: An 800GB dataset of diverse text for language modeling (arXiv:2101.00027). arXiv. https://doi.org/10.48550/arXiv.2101.00027 §
- Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé, H., III, & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86–92. https://doi.org/10.1145/3458723 §
- Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training [Technical report]. OpenAI. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf §
- Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners [Technical report]. OpenAI. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf §
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 21(140), 1–67. https://jmlr.org/papers/v21/20-074.html §
