Árbol evolutivo
Cómo desciende cada arquitectura de las anteriores. El eje horizontal es el tiempo (estirado en los años recientes, que están muy poblados); cada línea es una evolución, del color del tipo principal de la especie que surge. Pasá el cursor por una línea para ver qué la hizo evolucionar.
Generaciones
- I
Cibernética y símbolos 1943–1969
Neurona de McCulloch y Pitts, Modelo de n-gramas, Logic Theorist, Perceptrón, Bayes ingenuo, ELIZA, k vecinos más cercanos, k-means
- II
Aprendizaje automático clásico 1970–2005
Sistema experto, Árbol de decisión, Perceptrón multicapa, Red recurrente simple, Máquina de vectores de soporte, Deep Blue, LSTM, Red convolucional, Modelo de lenguaje neuronal probabilístico, Red de Hopfield
- III
Aprendizaje profundo 2006–2016
AlexNet, word2vec, VAE, GAN, Seq2seq, Atención de Bahdanau, AlphaGo
- IV
Transformers 2017–2019
Transformer, ELMo, GPT-1, BERT, GPT-2, T5, Sentence-BERT, AlphaStar
- V
Grandes modelos de lenguaje 2020–2022
GPT-3, Generación aumentada por recuperación, Modelo de difusión, Vision Transformer, CLIP, Chinchilla, Gato, AlphaFold 2, Whisper
- VI
Asistentes, razonamiento y agentes 2022–2026
ChatGPT, LLaMA, GPT-4, Agente LLM, Mamba, Mezcla de expertos, Modelo de razonamiento, Claude, Gemini, DeepSeek-V3, Híbrido SSM, Modelo de lenguaje de difusión
Otros árboles
Circulan otros árboles de los modelos de lenguaje, y conviene leerlos con otra pregunta en mente. El más reproducido es el de J. Yang et al. (2023), que reparte los modelos en tres ramas según qué conservan del Transformer: solo codificador (la familia de BERT), codificador-decodificador (T5) y solo decodificador (GPT-1 y su descendencia); la altura de cada modelo marca su fecha y estar en la misma rama indica una relación más estrecha (2023, fig. 1). Las versiones actualizadas suelen sumar dos ramas, la de los espacios de estados con sus híbridos y la de la difusión de texto.
Esas ramas son clases, no linajes. En aquel dibujo todas brotan del transformer, aunque Mamba descienda de las redes recurrentes y los modelos de difusión de texto hereden tanto de la difusión de imágenes como del relleno de huecos de BERT. Este árbol dibuja descendencia: cada línea dice qué cambió entre un ancestro y su sucesor, y una especie puede tener dos padres.
Fuentes
- Yang, J., Jin, H., Tang, R., Han, X., Feng, Q., Jiang, H., Yin, B., & Hu, X. (2023). Harnessing the power of LLMs in practice: A survey on ChatGPT and beyond (arXiv:2304.13712). arXiv. https://doi.org/10.48550/arXiv.2304.13712 §