GPT-1 es un decodificador transformer que primero aprende a predecir la palabra siguiente en miles de libros y después se ajusta, con cambios mínimos, a tareas de comprensión. OpenAI lo presentó en junio de 2018 (Radford et al., 2018); tenía 117 millones de parámetros (Radford et al., 2019, sec. 3; Alammar y Grootendorst, 2024, p. 20).
La G, la P y la T
- G de generativo. El preentrenamiento es un modelo de lenguaje clásico: maximizar la probabilidad de cada token dados los anteriores (Radford et al., 2018, sec. 3.1). Un modelo así puede generar texto, aunque el paper no lo usa para eso.
- P de preentrenado. Hay dos etapas: preentrenamiento sin etiquetas y ajuste fino supervisado para cada tarea, conservando el modelado de lenguaje como objetivo auxiliar (2018, secs. 3.1–3.2). El argumento de fondo: el texto sin etiquetar abunda y los datos etiquetados escasean (2018, sec. 1).
- T de transformer. Usa solo la mitad derecha del Transformer, sin atención cruzada: 12 bloques con autoatención enmascarada, vectores de 768 dimensiones, 12 cabezas, contexto de 512 tokens y un vocabulario BPE de 40.000 fusiones (2018, sec. 4.1). Lo eligieron porque ofrece una memoria más estructurada que las LSTM para dependencias largas (2018, sec. 1).
La sigla no aparece en el paper, que llama a su modelo «Finetuned Transformer LM»; la forma Generative Pre-trained Transformer circula, por ejemplo, en el paper de BERT (Devlin et al., 2019, p. 4171), y el «-1» se agregó cuando llegaron los sucesores (Alammar y Grootendorst, 2024, p. 20).
Cómo se adapta a cada tarea
La novedad práctica son las transformaciones de entrada. En lugar de diseñar una arquitectura
por tarea, las entradas estructuradas se aplanan en una sola secuencia con delimitadores:
para inferencia, premisa e hipótesis separadas por un símbolo $; para similitud, las dos
oraciones en ambos órdenes; para opción múltiple, contexto, pregunta y cada respuesta
candidata por separado (Radford et al., 2018, sec. 3.3). Lo único nuevo en el ajuste es una capa
lineal de salida y los embeddings de los delimitadores (2018, sec. 3.2).
Qué logró
Mejoró el estado del arte en 9 de 12 conjuntos de datos, con saltos de 8,9 puntos en Story Cloze y 5,7 en RACE (exámenes de comprensión lectora de escuela media y secundaria); en GLUE pasó de 68,9 a 72,8 (Radford et al., 2018, sec. 4.2). Las ablaciones son elocuentes: sin preentrenamiento, el promedio cae 14,8 %; con una LSTM en lugar del transformer, 5,6 puntos (2018, sec. 5).
Más importante a largo plazo fue una observación lateral. Sin ajuste alguno, el modelo preentrenado ya resolvía algo de las tareas con heurísticas simples: para el sentimiento, se agregaba very al final de la reseña y se comparaba la probabilidad de positive y de negative. Ese desempeño zero-shot crecía con el preentrenamiento, y los autores conjeturaron que el modelo generativo aprende a hacer muchas tareas para mejorar su modelado del lenguaje (2018, sec. 5). Esa conjetura es la semilla de GPT-2.
Límites
Solo mira hacia la izquierda. BERT, que eligió para su versión base el mismo tamaño que GPT-1 para poder compararlos, le ganó justamente con la bidireccionalidad (Devlin et al., 2019, pp. 4171, 4173). Sigue necesitando datos etiquetados, y en conjuntos chicos como RTE quedó por debajo del estado del arte (Radford et al., 2018, sec. 4.2). Su corpus tampoco era inocente: una auditoría posterior de BooksCorpus encontró miles de libros duplicados, sesgos en los géneros literarios y probables violaciones de derechos de autor (Bandy y Vincent, 2021). Algunas síntesis le suman Common Crawl (Alammar y Grootendorst, 2024, p. 20), pero el paper solo describe BooksCorpus, unos 800 millones de palabras (Radford et al., 2018, sec. 4.1; Devlin et al., 2019, p. 4184).