GPT-2 es GPT-1 con diez veces más escala y un corpus nuevo: un decodificador transformer de 1.500 millones de parámetros entrenado para predecir el siguiente token en páginas web. OpenAI lo anunció en febrero de 2019, y se hizo famoso tanto por lo que hacía sin entrenamiento específico como por lo que sus creadores se negaron, al principio, a publicar.
Más grande, casi igual
El paper entrenó cuatro tamaños, de 117 a 1.542 millones de parámetros; el mayor, el único que el paper llama GPT-2, tiene 48 capas y vectores de 1.600 dimensiones (Radford et al., 2019, secs. 2.3, 3; Alammar y Grootendorst, 2024, p. 20). Los cambios de arquitectura son menores: la normalización pasa a la entrada de cada subbloque, el contexto se duplica a 1.024 tokens y el vocabulario, un BPE sobre bytes, tiene 50.257 entradas, de modo que cualquier cadena Unicode es representable (Radford et al., 2019, secs. 2.2–2.3; Alammar y Grootendorst, 2024, p. 49).
Un corpus elegido a votos
OpenAI quería texto variado, pero Common Crawl estaba lleno de documentos ininteligibles, y filtrar a mano una captura de la web habría sido carísimo. La solución fue delegar la curaduría en Reddit: se tomaron los enlaces salientes publicados allí que hubieran recibido al menos 3 de karma, lo que los autores describen como un indicador heurístico de que a otros usuarios les había parecido interesante, educativo o simplemente gracioso (Radford et al., 2019, sec. 2.1). Como el karma es un saldo neto de votos, son más o menos tres votos a favor (Mollick, 2026). De esos 45 millones de enlaces salió WebText: algo más de 8 millones de documentos y 40 GB de texto, sin enlaces posteriores a diciembre de 2017 y sin Wikipedia, que se quitó para no contaminar las evaluaciones (Radford et al., 2019, sec. 2.1). Los votos se habían inventado para ordenar enlaces, no para enseñarle a escribir a una máquina (Mollick, 2026).
Tareas sin entrenamiento
La tesis del paper está en su título: los modelos de lenguaje son aprendices multitarea no supervisados. Una tarea puede escribirse como texto, y un modelo que predice bien la web debería aprender a hacer las tareas que la web exhibe, porque eso lo ayuda a predecir (Radford et al., 2019, sec. 2). WebText contiene, de hecho, traducciones espontáneas entre el inglés y el francés (2019, tabla 1).
Sin ningún ajuste (zero-shot), GPT-2 mejoró el estado del arte en 7 de 8 conjuntos de modelado de lenguaje (Radford et al., 2019, sec. 3.1). Para resumir, bastaba con agregar «TL;DR:» al final de un artículo; sin esa pista, el desempeño caía 6,4 puntos (2019, sec. 3.6). Para traducir, se le daban pares de ejemplo con el formato «oración en inglés = oración en francés» (2019, sec. 3.7): un anticipo del prompt y del aprendizaje few-shot de GPT-3.
«Demasiado peligroso»
El anuncio de febrero publicó el paper y el modelo chico, pero retuvo los grandes por temor a usos maliciosos: noticias falsas, suplantación de identidad, contenido abusivo automatizado. Siguió un lanzamiento escalonado: 355 millones de parámetros en mayo, 774 millones en agosto y el modelo completo en noviembre de 2019. El informe final no halló evidencia de abuso directo en foros públicos, aunque sí conversaciones sobre cómo intentarlo (Solaiman et al., 2019). La prensa lo resumió como el modelo «demasiado peligroso para publicarlo».
Límites
Sin ajuste, los resultados eran prometedores pero modestos: en preguntas abiertas acertaba el 4,1 % (Radford et al., 2019, sec. 3.8), y sus resúmenes apenas superaban a elegir tres oraciones al azar (2019, sec. 3.6). Memorizaba textos muy repetidos, como el discurso de Gettysburg (2019, sec. 8.2). Y su prosa era fluida y a menudo falsa: en la muestra más citada (la mejor de diez), los unicornios andinos tenían cuatro cuernos (2019, tabla 13).