AlphaGo es el sistema de DeepMind que juega al go combinando dos redes convolucionales con una búsqueda en árbol de Monte Carlo. En octubre de 2015 fue el primer programa en vencer sin ventaja a un profesional, el campeón europeo Fan Hui, por 5 a 0 (Silver et al., 2016, p. 488); en marzo de 2016 derrotó 4 a 1 a Lee Sedol, uno de los mejores jugadores del mundo, ante más de doscientos millones de espectadores (M. Mitchell, 2019, ch. 9).
El problema
En ajedrez hay unas 35 jugadas legales por turno y una partida dura unas 80; en go, unas 250 y 150 (Silver et al., 2016, p. 484). La búsqueda exhaustiva es imposible y, además, nadie había logrado escribir una buena función de evaluación: los expertos explican sus decisiones con nociones como «influencia» o «estabilidad», que no se dejan traducir en reglas (Buckner, 2024, p. 52; M. Mitchell, 2019, ch. 9). En 1997 un aficionado pronosticaba que una máquina podía tardar cien años en ganarle a un humano (M. Mitchell, 2019, ch. 9).
Cómo funciona
AlphaGo lee el tablero como una imagen de 19 × 19 con 48 planos de rasgos, igual que una red de visión lee una foto (Silver et al., 2016, p. 484). Su entrenamiento tiene cuatro piezas (2016, pp. 485–486):
- Una red de política de 13 capas, entrenada con aprendizaje supervisado sobre unos 30 millones de posiciones del servidor KGS, predice la jugada de un experto con 57 % de acierto.
- Una política rápida, lineal y mucho menos precisa, elige cada jugada en 2 microsegundos (la red tarda 3 milisegundos) y sirve para simular partidas completas.
- La red de política se mejora con aprendizaje por refuerzo jugando contra versiones anteriores de sí misma; sin búsqueda alguna, ya le ganaba el 85 % de las partidas a Pachi, el mejor programa de código abierto.
- Una red de valor aprende a predecir el ganador con 30 millones de posiciones, cada una tomada de una partida de autojuego distinta, para no memorizar partidas enteras.
Al jugar, la búsqueda usa la red de política para decidir qué ramas explorar (menos anchura) y evalúa cada hoja mezclando la red de valor con una simulación rápida hasta el final (menos profundidad). Un detalle curioso: para guiar la búsqueda funcionaba mejor la red supervisada que la reforzada, según los autores probablemente porque los humanos proponen un abanico más diverso de jugadas (Silver et al., 2016, p. 486). La versión distribuida usó 1202 CPU y 176 GPU (2016, p. 487).
Qué cambió
Deep Blue exploraba más de 200 millones de jugadas por segundo con heurísticas y aperturas cargadas por expertos (Buckner, 2024, p. 51). Frente a Fan Hui, AlphaGo evaluó miles de veces menos posiciones que Deep Blue contra Kasparov, eligiéndolas con una red y valorándolas con otra, un enfoque que, según sus autores, quizás se parezca más a cómo juegan los humanos (Silver et al., 2016, p. 489). La herencia de AlexNet es directa: el mismo tipo de red que reconoce objetos en fotos reconoce formas en el tablero (Buckner, 2024, p. 119).
En la segunda partida contra Lee, la jugada 37 desconcertó a los comentaristas; Lee salió de la sala y tardó casi quince minutos en responder (Buckner, 2024, p. 63). La red de política estimaba que un humano la jugaría con una probabilidad menor a 1 en 10.000 (2024, p. 226).
Su forma evolucionada, AlphaGo Zero, prescindió de las partidas humanas: aprendió solo por autojuego y le ganó 100 a 0 a la versión que había vencido a Lee (Silver et al., 2017). Con AlphaZero, el método se extendió al ajedrez y al shogi (M. Mitchell, 2019, ch. 9). En tiempo real y con información oculta, la línea siguió con AlphaStar.
Límites
En la cuarta partida, Lee encontró su propia jugada inesperada, la 78, y AlphaGo pareció no darse cuenta de lo que estaba ocurriendo (M. Mitchell, 2019, ch. 9). El sistema necesitó mucha más experiencia que un humano: unos 30 millones de partidas contra sí mismo, cuando Lee no puede haber jugado más de 50.000 en su vida (Buckner, 2024, p. 144). Es opaco: se puede inspeccionar el árbol, pero no por qué la red valora así una posición (2024, pp. 62–63). Y es estrecho: Chollet (2019) señalaba que ni AlphaGo ni AlphaZero habían encontrado aplicación fuera de los juegos de mesa (2019, sec. I.3.5).