ElemedexEnciclopedia de bolsillo de arquitecturas de IA
N.º 047

Gemini

Gemini 1.0 (Ultra · Pro · Nano) → 1.5 → 2.0 → 2.5 → 3 → 3.x

Omnívoro

Lo criaron mirando, escuchando y leyendo a la vez. Aprendió a traducir algo de kalamang, una lengua de menos de 200 hablantes, leyendo de un tirón su gramática y su diccionario. En 2025 tardó 813 horas en coronarse Campeón de la Liga Pokémon; la segunda vez, la mitad.

Altura
? (no divulgado)
Peso
? (no divulgado; Nano, cuantizado a 4 bits, corre en un teléfono)
Parámetros
Nano: 1,8 B y 3,25 B · Pro y Ultra: no divulgados (mezcla de expertos desde 1.5)
Contexto
32K (1.0) · 1–2 M (1.5 en adelante) · 10 M en pruebas de investigación
Datos de entrenamiento
? (documentos web, libros y código, más imágenes, audio y video; tamaño no divulgado)
Año
2023
Generación
6 · Asistentes, razonamiento y agentes
Creadores
Google DeepMind (Gemini Team, Google)
Clase
Modelo

Estadísticas base

Total
469

Escalas ordinales y aproximadas, pensadas para comparar especies entre sí; los números duros están en la ficha.

Debilidades

  • Casi todo es secreto: tamaños, arquitectura detallada y datos de Pro y Ultra no se publican.
  • Su cifra estrella, 90 % en MMLU, usaba 32 cadenas de pensamiento por pregunta; con cinco ejemplos, como se medía a GPT-4, quedaba por debajo.
  • El video de lanzamiento no mostraba una interacción en tiempo real: se armó con fotogramas fijos y prompts de texto.
  • En 2024, el generador de imágenes de la app sobrecorrigió la diversidad y Google pausó las imágenes de personas.

Hábitat

Se entrenó en TPU de Google con documentos web, libros, código, imágenes, audio y video. Reemplazó a Bard, primero por dentro (diciembre de 2023) y después también de nombre (febrero de 2024). Vive en la app Gemini, en el buscador, en teléfonos Android, donde Nano corre dentro del propio aparato, y en la API para desarrolladores.

Movimientos

Habilidades

Multimodal de nacimiento
Se preentrena desde el principio con texto, imágenes, audio y video intercalados en una misma secuencia, en lugar de coser modelos separados.
Contexto de millones
Gemini 1.5 Pro recupera una «aguja» con 99,7 % de acierto en un millón de tokens y 99,2 % en diez millones, aunque rinde bastante menos cuando las agujas son cien.
Expertos dispersos
Desde 1.5 es una mezcla de expertos: un enrutador envía cada token a una parte de los parámetros, de modo que el cómputo por token no crece con el tamaño total.

Anatomía

Bloque decodificador×?TextoImagenAudioVideoTokensSentencePieceCodificadorvisualRasgosUSM(16kHz)Cuadros→imágenesSecuencia intercaladaAtención causal (p. ej.MQA)FFN (MoE desde 1.5)TextoTokens deimagenGemini 1.0 (lo publicado)

Cuatro modalidades, una sola secuencia. Según el informe de Gemini 1.0, el texto, las imágenes (con una codificación visual inspirada en Flamingo, CoCa y PaLI), el audio (rasgos del modelo de habla USM, a 16 kHz) y el video (como sucesión de cuadros) entran intercalados en un mismo decodificador transformer con atención eficiente y 32K de contexto, que puede responder con texto o con imágenes hechas de tokens discretos. Capas, tamaños y detalles del codificador visual no se publicaron; desde 1.5, las capas feedforward son una mezcla de expertos.

Cadena evolutiva

  • todo como tokens, ahora a escala de frontera y con un millón de tokens de contexto038 Gato
047 Gemini

Gemini es la familia de modelos de Google DeepMind que Google presentó el 6 de diciembre de 2023 en tres tamaños: Ultra, Pro y Nano (Pichai y Hassabis, 2023). Ese mismo día Bard, el chatbot de Google, empezó a usar una versión ajustada de Gemini Pro; en febrero de 2024 Bard pasó a llamarse Gemini (Hsiao, 2024). Siguieron 1.5 (febrero de 2024), 2.0 y 2.5 (diciembre de 2024 y marzo de 2025) (Gemini Team, 2024; Gemini Team, 2025), 3 (noviembre de 2025) y, en 2026, 3.1 Pro y una serie de modelos Flash numerados del 3.5 al 3.8 (Google, s. f.).

Cómo funciona

La promesa era ser «nativamente multimodal»: en vez de entrenar componentes separados para cada modalidad y coserlos después, Gemini se preentrenó desde el principio con varias (Pichai y Hassabis, 2023). Según su informe técnico, es un decodificador transformer con atención eficiente (por ejemplo, multiconsulta) y 32K de contexto, que recibe texto intercalado con imágenes, gráficos, capturas de pantalla, PDF, audio y video, y responde con texto o con imágenes generadas como tokens discretos. El video entra como una sucesión de cuadros; el audio, como rasgos de un modelo de habla a 16 kHz (Gemini Team, 2023, sec. 2). Es la receta de Gato, todo convertido en tokens de una sola secuencia (Reed et al., 2022), llevada a escala de frontera. Frente a CLIP, que alinea imágenes y textos en un espacio común, o a GPT-4, que acepta imágenes con una codificación no divulgada, Gemini describe al menos el esquema general de su multimodalidad.

Los números, en cambio, faltan. Solo se conocen los de Nano (1.800 y 3.250 millones de parámetros, obtenidos por destilación y cuantizados a 4 bits) (Gemini Team, 2023, sec. 2); los datos son documentos web, libros y código, más imágenes, audio y video, sin cifras (2023, sec. 4). Epoch AI estima, con poca certeza, unos 5 × 10²⁵ FLOP para Ultra (Epoch AI, 2026); las estadísticas base de esta entrada reflejan esas estimaciones ajenas, no datos publicados. Desde 1.5, Pro es una mezcla de expertos dispersa (Gemini Team, 2024, sec. 3.1), y 2.5 sigue ese camino (Gemini Team, 2025, sec. 2.1).

Millones de tokens

Gemini 1.5 Pro llevó la ventana de contexto a varios millones de tokens: recupera una frase escondida («aguja») con 99,7 % de acierto en un millón de tokens y 99,2 % en diez millones (Gemini Team, 2024, sec. 5.2). La prueba es simple, y los autores lo admiten: con cien agujas a la vez, el acierto baja a cerca del 70 % en 128K y a algo más del 60 % en un millón (2024, sec. 5.2.1.5). El ejemplo más llamativo es lingüístico: con una gramática de campo de unas 500 páginas, un diccionario de 2.000 entradas y unas 400 oraciones paralelas en el contexto, el modelo tradujo del inglés al kalamang, una lengua papú de menos de 200 hablantes, con una calidad parecida a la de una persona que estudió los mismos materiales (Gemini Team, 2024, sec. 5.2.2.1; Tanzer et al., 2024). Sin esos materiales, el resultado era azar.

Con 2.5 llegaron los modelos que «piensan»: entrenados con refuerzo para gastar más cómputo en inferencia antes de responder, con un presupuesto de pensamiento regulable (Gemini Team, 2025, sec. 2.5) (ver Modelo de razonamiento (o1, R1)). Un desarrollador independiente le armó un andamiaje para jugar Pokémon Azul, y Gemini 2.5 Pro terminó el juego tras 813 horas, con ajustes al andamiaje sobre la marcha (-@gemini2025, sec. 4.1).

Tropiezos

El lanzamiento tuvo letra chica. El 90 % en el benchmark MMLU, presentado como el primer resultado que superaba a expertos humanos, usaba una técnica con 32 cadenas de pensamiento por pregunta; con cinco ejemplos, el formato en que se medía a GPT-4, Ultra sacaba 83,7 % contra 86,4 % (Gemini Team, 2023, sec. 5.1.1). El video de demostración, donde Gemini parecía comentar en vivo lo que veía, se había hecho con fotogramas fijos y prompts de texto (Coldewey, 2023). Y en febrero de 2024 el generador de imágenes de la app (basado en otro modelo, Imagen 2) produjo imágenes históricas inexactas por sobrecorregir la diversidad; Google pausó las imágenes de personas (Raghavan, 2024).

Fuentes