Gato es un único decodificador transformer de 1.200 millones de parámetros que DeepMind entrenó en 604 tareas distintas. Los mismos pesos juegan al Atari, describen imágenes, charlan y apilan bloques con un brazo robótico real, y deciden según el contexto si lo que sigue es texto, un torque o una presión de botón (Reed et al., 2022, resumen). Sus autores lo llamaron un agente generalista.
Cómo funciona
La idea es tratar todo como lenguaje. Los textos se tokenizan con un vocabulario de 32.000 subpalabras; las imágenes se cortan en parches de 16 × 16 como en la Vision Transformer (ViT); los valores discretos (botones) se vuelven enteros; y los continuos (ángulos, torques) se comprimen y se discretizan en 1024 intervalos (Reed et al., 2022, sec. 2.1). Cada paso de un episodio se escribe como tokens de observación, un separador y tokens de acción. El resultado es una secuencia plana que se modela con predicción del siguiente token, como un modelo de lenguaje, pero la pérdida se calcula solo sobre el texto y las acciones (2022, sec. 2.3).
La red tiene 24 capas y vectores de 2048 dimensiones, con una ventana de 1024 tokens; se entrenó cuatro días en un bloque de TPU v3 de 16 × 16 (2022, sec. 2.3). No hay aprendizaje por refuerzo: Gato imita, de forma puramente supervisada, trayectorias de agentes expertos filtradas para quedarse con las que alcanzan al menos el 80 % del rendimiento del experto (2022, secs. 1, 3.1). Para saber qué tarea le toca, recibe al comienzo una demostración de esa tarea en el prompt, en lugar de un identificador (2022, sec. 2.3). En uso, cada acción generada se envía al entorno y la nueva observación vuelve a entrar (2022, sec. 2.4).
Qué sabe hacer
Supera la mitad del puntaje del experto en más de 450 de sus 604 tareas; alcanza o supera el nivel humano promedio en 23 juegos de Atari; y en el robot real apila bloques de formas no vistas tan bien como un sistema especializado (2022, secs. 4.1–4.2). Sus diálogos y epígrafes, en cambio, son rudimentarios, y los autores reconocen que suele responder de forma superficial o incorrecta (2022, sec. 4.3, fig. 7).
¿Generalista o coleccionista?
El anuncio desató una discusión sobre qué significa ser general. Nando de Freitas, uno de los autores, escribió en mayo de 2022 en Twitter: «It's all about scale now! The Game is Over!» [¡Ahora todo es cuestión de escala! ¡Se terminó el juego!, trad. propia] (de Freitas, 2022). Desde el otro lado se podía responder con Chollet (2019): juntar más tareas conocidas de antemano no mide flexibilidad, sino habilidades, porque el sistema puede practicar cada una (2019, sec. I.3.3). El propio artículo muestra el límite: para tareas realmente nuevas hubo que hacer ajuste fino, porque la ventana era demasiado corta para aprender de demostraciones en el prompt (Reed et al., 2022, secs. 5.2, 8.2). Millière y Buckner (2024b) lo ubican como el tercer tipo de sistema «agente»: modelos multimodales entrenados de punta a punta para producir acciones (2024b, sec. 3.1.2).
La canción de p(doom) le dedica un verso («Gato, please don't let me go»), y su anotador comenta, sobre DeepMind: «They were very early» [llegaron muy temprano, trad. propia] (osmarks, s. f.).
Límites
Rinde por debajo de los especialistas que imita; su tamaño quedó limitado por la necesidad de controlar un robot en tiempo real; y no existe un corpus de control a escala web comparable al de texto (Reed et al., 2022, secs. 1, 4.1, 8.1). Nunca se liberó.