GPT-3 es un modelo de lenguaje autorregresivo de 175.000 millones de parámetros, diez veces más grande que cualquier modelo denso anterior, presentado por OpenAI en 2020 (Brown et al., 2020, sec. 1). Su fama no viene de la arquitectura, que es casi la de GPT-2, sino de una conducta: resolver tareas nuevas a partir de unos pocos ejemplos escritos en el prompt, sin ningún ajuste fino.
Cómo funciona
Es una pila de 96 bloques decodificadores con máscara causal, vectores de 12.288 dimensiones y 96 cabezas de atención; una ventana de contexto de 2048 tokens; y capas que alternan atención densa y dispersa por bandas (Brown et al., 2020, sec. 2.1; Alammar y Grootendorst, 2024, p. 96). Se entrenó con 300.000 millones de tokens de una mezcla en la que las fuentes consideradas de mejor calidad (WebText2, Books1, Wikipedia) se vieron dos o tres veces, y el Common Crawl filtrado y Books2, menos de una (2020, sec. 2.2). El costo fue de unos 3,14 × 10²³ FLOPs (2020, app. D).
El tamaño no fue un capricho. Meses antes, las leyes de escalamiento de Kaplan et al. (2020) habían mostrado que la pérdida cae como una ley de potencia con los parámetros, los datos y el cómputo, y que conviene gastar el presupuesto sobre todo en modelos más grandes (2020, sec. 1.1). GPT-3 aplicó esa receta: muchos parámetros, relativamente pocos tokens (Brown et al., 2020, fig. 2.2).
Aprender sin tocar los pesos
El artículo define tres situaciones (2020, sec. 2). En zero-shot el modelo recibe solo una instrucción; en one-shot, una instrucción y un ejemplo; en few-shot, tantos ejemplos como entren en la ventana (típicamente entre 10 y 100). En los tres casos no hay actualización de gradientes: el modelo simplemente continúa el texto. Los autores llaman a esto aprendizaje en contexto, y Alammar y Grootendorst (2024) lo presentan como la idea de «mostrar» la tarea en lugar de describirla (2024, pp. 180–181).
Algunos resultados: 71,2 % en TriviaQA sin consultar documentos, 86,4 % en LAMBADA cuando la tarea se enmarca como una prueba cloze con ejemplos, 100 % en sumas de dos dígitos (Brown et al., 2020, secs. 3.1, 3.2, 3.9.1). En un experimento con unas 80 personas por modelo, la tasa de acierto al distinguir noticias escritas por GPT-3 de noticias reales fue de ≈ 52 %, apenas por encima del azar (2020, sec. 3.9.4). El dato más interesante es de forma: la distancia entre cero, uno y pocos ejemplos crece con el tamaño del modelo, como si los modelos grandes fueran mejores «meta-aprendices» (2020, sec. 1).
Qué cambió
Con GPT-3 el prompt pasó a ser una forma de programar. Eso trajo la «ingeniería de prompts», con su fragilidad: cambios mínimos de puntuación o de palabras alteran el desempeño (Buckner, 2024, pp. 278–279). También dejó claro que un modelo base no es un asistente: predice continuaciones, no sigue instrucciones, y por eso sus descendientes pasaron por ajuste por instrucciones y RLHF hasta llegar a ChatGPT (InstructGPT) (Alammar y Grootendorst, 2024, pp. 26, 88).
Límites
Los autores enumeran los suyos (Brown et al., 2020, sec. 5): incoherencia en textos largos, resultados cercanos al azar en tareas de comparación como WiC y ANLI, problemas con la física cotidiana, poca eficiencia de muestra en el preentrenamiento y los sesgos de los datos. Un error en el filtrado dejó contaminación con benchmarks que no pudo corregirse porque reentrenar era demasiado caro (2020, secs. 2.2, 4). Y como los pesos y los datos quedaron en manos de OpenAI, estudiarlo de forma reproducible fue mucho más difícil que estudiar BERT (Buckner, 2024, pp. 279–280).