AlphaStar es el sistema de DeepMind que juega a StarCraft II, el juego de estrategia en tiempo real de Blizzard. En diciembre de 2018, una versión preliminar le ganó 5 a 0 a Dario «TLO» Wünsch y 5 a 0 a Grzegorz «MaNa» Komincz; las partidas se difundieron en enero de 2019 (AlphaStar team, 2019a; Vinyals et al., 2019, Methods: StarCraft Demonstration Evaluation). La versión final, con cámara y un tope de acciones más estricto, alcanzó el nivel Grandmaster en Battle.net con las tres razas, por encima del 99,8 % de los jugadores clasificados (Vinyals et al., 2019, Empirical Evaluation).
El problema
El ajedrez y el go son de turnos y de información perfecta. StarCraft transcurre en tiempo real y bajo una niebla de guerra que obliga a explorar. En cada paso hay unas 10²⁶ acciones posibles (Vinyals et al., 2019, introducción), y hay que sostener a la vez el macro (economía, producción) y el micro (el control fino de cada unidad), sin una estrategia mejor que todas: como en piedra, papel o tijera, cada una tiene su respuesta (AlphaStar team, 2019a). En 2017, los primeros agentes de DeepMind no le ganaban ni una partida a la IA más fácil del juego; el mejor aprendió a despegar sus edificios terran y alejarlos volando para no perder antes del límite de 30 minutos (Vinyals et al., 2017, sec. 4.4.1).
Cómo funciona
Un Transformer lee con autoatención la lista de unidades visibles; una red convolucional, el minimapa. Una LSTM profunda guarda la memoria de la partida, y la acción se arma de modo autorregresivo: qué hacer, cuándo volver a mirar, si va en cola, con qué unidades (una red de punteros las señala en la lista) y dónde (Vinyals et al., 2019, Learning Algorithm, Extended Data Fig. 3). Tiene 139 millones de parámetros, de los que usa 55 al jugar (2019, Methods: Architecture).
Primero, imitación: predecir las acciones de 971.000 repeticiones de jugadores con MMR superior a 3500, el 22 % más alto (-@vinyals2019, Methods: Supervised Learning). Ese agente ya superaba al 84 % de los humanos (2019, Empirical Evaluation). Después, refuerzo, con +1 por victoria y −1 por derrota (2019, Methods: Reinforcement Learning), en una liga con cuatro agentes por raza: uno principal, que enfrenta a todos y prioriza a los rivales que más le cuestan; un explotador principal, que solo busca agujeros en los agentes principales; y dos explotadores de liga, que buscan debilidades de toda la liga. Cada uno entrenó 44 días con 32 TPU; hubo casi 900 jugadores (2019, Learning Algorithm).
Qué cambió
Respecto de AlphaGo, desaparece la búsqueda en árbol: AlphaStar no simula jugadas futuras (Vinyals et al., 2019, Methods: Related Work). El autojuego simple se vuelve liga porque puede girar en círculos (A le gana a B, B a C, C a A) sin progresar (2019, Learning Algorithm); en la liga hubo unos tres millones de esos ciclos con al menos un explotador, y solo unos 200 entre agentes principales (2019, Extended Data Fig. 8). Y la imitación no queda solo al principio: una penalización KL lo ata a la política imitada durante todo el refuerzo. En ablaciones con un solo mapa, sin datos humanos llegó a 149 puntos Elo, por debajo del bot más fácil del juego (418); con todo, a 1540 (-@vinyals2019, Methods: Exploration and diversity, figs. 3E, 3J).
Las partidas
Las partidas de diciembre fueron protoss contra protoss en Catalyst LE, y TLO, zerg profesional, jugó con su raza secundaria (AlphaStar team, 2019a). Según la crónica de Ars Technica, en la cuarta partida contra MaNa un ejército solo de stalkers atacó a sus immortals, archons y zealots desde tres lados, y los stalkers dañados hacían blink hacia atrás mientras se les recargaban los escudos. En la partida en vivo, MaNa bajaba dos immortals de un warp prism entre los probes de AlphaStar y los subía de nuevo antes de que llegaran los stalkers, que iban y venían sin decidirse (Lee, 2019).
Límites
En diciembre, AlphaStar veía todo lo visible en el mapa sin mover la cámara (AlphaStar team, 2019a; Canaan et al., 2019, sec. 2.4) y promediaba unas 280 acciones por minuto (APM), menos que MaNa (390), aunque, según aclaró DeepMind, con ráfagas efectivas a veces más altas que las de ambos. En vivo, MaNa le ganó a un prototipo con cámara entrenado, según el equipo, solo siete días (AlphaStar team, 2019a). La versión de Nature ya movía la cámara y hacía como mucho 22 acciones cada 5 segundos, pero seguía apuntando fuera de pantalla con más precisión que un humano (Vinyals et al., 2019, Methods: Camera View, APM Limits). La evaluación en Battle.net no mide cuán explotable es en partidas repetidas (2019, Empirical Evaluation).