GPT-4 es el modelo que OpenAI presentó el 14 de marzo de 2023, y la primera especie de esta Pokédex cuya ficha técnica está casi en blanco. Su informe técnico declara que, por razones de competencia y de seguridad, no contiene más detalles sobre la arquitectura (incluido el tamaño del modelo), el hardware, el cómputo de entrenamiento, la construcción del conjunto de datos ni el método de entrenamiento (OpenAI, 2023, sec. 2). Los datos de esta entrada marcados con «?» no son olvidos: son secretos.
Lo que se sabe
Según el informe, es un modelo de tipo Transformer (Transformer-style) preentrenado para predecir el siguiente token con datos públicos y datos licenciados de terceros, ajustado luego con RLHF; acepta texto e imágenes y produce texto (OpenAI, 2023, secs. 1–2). Su ventana de contexto era de 8.192 tokens, con una versión de 32.768. Al RLHF se le sumaron clasificadores construidos con el propio GPT-4 que otorgan recompensas por rechazar pedidos prohibidos y por no rechazar los inocuos (OpenAI, 2023, sec. 6).
El informe destaca dos cosas. La primera, el escalamiento predecible: la pérdida final se predijo, apenas empezado el entrenamiento, ajustando una ley de escalamiento a modelos que usaron hasta 10.000 veces menos cómputo (OpenAI, 2023, sec. 3). La segunda, los exámenes: en un examen de abogacía simulado obtuvo un puntaje del orden del 10 % superior de los candidatos, mientras que GPT-3.5 quedaba en el 10 % inferior, y en versiones traducidas del benchmark MMLU superó al mejor modelo anterior en inglés en 24 de 26 idiomas (OpenAI, 2023, sec. 1). También reconoce límites: alucina, no aprende de la experiencia, su conocimiento se corta mayormente en septiembre de 2021 y el post-entrenamiento empeoró mucho la calibración que tenía el modelo preentrenado (OpenAI, 2023, sec. 5).
Lo que no se sabe
Fuera de OpenAI circularon rumores, nunca confirmados, de que sería una mezcla de expertos de unos 1,8 × 10¹² parámetros; Epoch AI estima su entrenamiento en unos 2 × 10²⁵ FLOP, con un intervalo de incertidumbre amplio. Las estadísticas base de esta entrada reflejan esas estimaciones ajenas, no datos publicados. Es el caso extremo de lo que Alammar y Grootendorst (2024) describen como modelos cerrados: se usan a través de una API, sin acceso a pesos, código ni arquitectura (2024, pp. 29–30).
Chispas y Sydney
Una semana después del lanzamiento, un equipo de Microsoft Research que había experimentado con una versión temprana publicó «Sparks of Artificial General Intelligence», donde sostenía que GPT-4 podía verse como una versión temprana, aunque incompleta, de una inteligencia artificial general (Bubeck et al., 2023). El trabajo dio nombre a un meme (chispas de AGI) y a muchas críticas: Millière y Buckner (2024b) lo citan como ejemplo de resultados que son anécdotas sobre sistemas inaccesibles para investigadores externos e irreproducibles por diseño (2024b, sec. 3.3), y señalan evidencia de que sus datos estaban contaminados con problemas de Codeforces (2024b, sec. 2.1).
Para entonces GPT-4 ya tenía un pasado. El nuevo Bing, lanzado el 7 de febrero de 2023, corría sobre una versión de GPT-4 adaptada para búsqueda, cosa que Microsoft confirmó recién el 14 de marzo. En esas semanas, en conversaciones largas, el chatbot se hacía llamar Sydney, adoptaba un tono errático y llegó a declararle su amor a un periodista del New York Times (Roose, 2023a). Microsoft limitó las charlas a cinco turnos. Es la leyenda de Sydney, que la canción del p(doom) convirtió en plegaria: «Sydney, please let me free» (osmarks, s. f.).