El salto de la inteligencia artificial de Google: derrota a dos campeones de StarCraft II
La dificultad de este videojuego reside en que la máquina no tiene toda la información antes de realizar la jugada dado que el mapa se va desvelando a medida que las unidades van avanzando
Hace años, IBM derrotó a Garri Kasparov jugando al ajedrez; después Google hizo lo propio con Fan Hui y Lee Sedol al Go. AHora, ha sido el turno de los eSports con uno de sus grandes juegos, el StarCraft II. La herramienta de Inteligencia Artificial (IA) desarrollada por DeepMind, compañía filial de Google, ha logrado derrotar por primera vez a dos campeones de este videojuego. Y este no es un hecho menor. Te explicamos por qué.
El programa usado ha sido AlphaStar. Con él, DeepMind ha desarrollado una red profunda de aprendizaje neuronal entrenada directamente a través de datos en bruto de StarCraft II, como se explica en un post en la web de Deepmind.
AlphaStar logró vencer 5-0 al jugador polaco Grzegorz MaNa Komincz y su compañero, el alemán Dario TLO Wünsch, ambos miembros del equipo profesional Team Liquid. Esta partida tuvo lugar en un mapa competitivo del juego y sin restricciones de reglas.
DeepMind había logrado éxitos con otros títulos como Atari, Mario y Dota 2, y, desde el pasado verano, también a Quake III en el modo captura la bandera. Sin embargo, las dificultades del Starcraft habían sido una prueba demasiado dura. Hasta ahora.
Historia
La saga de videojuegos StarCraft pertenece a Blizzard. Se estrenó en 1998 y es un juego de estrategia en tiempo real. DeepMind como un "gran desafío" debido a la complejidad del juego, a su mecánica y a la amplitud de los mapas, lo que complica entrenar a sistemas automáticos para resultar competitivos. En el Starcraft, a diferencia de lo que sucede en el ajedrez o el Go, el jugador no tiene toda la información antes de realizar la jugada, dado que el mapa se va desvelando a medida que las unidades van avanzando. Por eso, resultan claves tener intuición, imaginación y dotes cognitivas para tratar de adivinar qué estará haciendo el oponente. Es decir, todo aquello que hasta ahora le faltaba a la inteligencia artificial.
Hay varias formas diferentes de jugar el juego. En eSports, sin embargo, la más común es un torneo de uno contra uno a cinco partidas. Para empezar, un jugador debe elegir jugar una de las tres razas extraterrestres: Zerg, Protoss (la raza en la que ha sido entrenada Alphastar) o Terran. Todas ellas tienen características y habilidades distintivas. Los profesionales tienden a especializarse en una sola raza. Cada jugador comienza con una serie de unidades de trabajo, que reúnen recursos básicos para construir más unidades y estructuras y crear nuevas tecnologías.
Estas, a su vez, permiten a un jugador cosechar otros recursos, construir bases y estructuras más sofisticadas y desarrollar nuevas capacidades que se pueden usar para burlar al oponente. Para ganar, un jugador debe equilibrar cuidadosamente la gestión global a largo plazo de su economía, conocida al igual que en la vida real como estrategias macro, junto con el control de bajo nivel de sus unidades individuales a corto plazo, conocida como micro.
Deepmind explic que StarCraft es un juego en el "no hay una sola mejor estrategia". Además, también a diferencia del Go o el ajedrez, los jugadores no se alternan en el juego, sino que toman decisiones en tiempo real de forma continua.
De esta manera, Alphastar ha logrado imitar habilidades humanas, dado que es capaz de imaginar qué está pensando hacer el oponente, es capaz de idear estrategias a medio y largo plazo, es capaz de aprender cómo entender planos incompletos y trazar un plan para usar componentes distintos de manera cooperativa.
Entrenamiento
Para entrenar a su IA, DeepMind ha utilizado datos en bruto de la interfaz de StarCraft II a través de dos técnicas conocidas como aprendizaje supervisado y aprendizaje reforzado. La red neuronal convierte las unidades del juego y utiliza un núcleo de memoria LSTM que proporciona soporte para aprendizaje a largo plazo, informa Europa Press.
El algoritmo de Google un algoritmo de aprendizaje múltiple que se ha empleado inicialmente para entrenar la red neuronal de AlphaStar a través del aprendizaje supervisado, con el que aprende de jugadores humanos de otros videojuegos de Blizzard y de su sistema de economía macro y de recursos micro. Con estas técnicas, derrotó el 95% de ocasiones a la dificultad 'elite' de los juegos del estudio.
Posteriormente, los investigadores sometieron a AlphaStar a un proceso de aprendizaje reforzado, para el que se creó una liga continua de StarCraft II con jugadores reales compitiendo, que creaba un mapa global con las estrategias escogidas por las personas.
Posteriormente, AlphaStar analizaba el porcentaje de éxito de cada estrategia y sus posible tácticas de contraataque. Con la liga de StarCraft, AlphaStar ha acumulado una experiencia de más de 200 años de juego real, sumada durante 14 días.
El sistema de Google consiguió vencer a los profesionales MaNa y TLO, algo que sucede por primera ocasión con jugadores de eSports según DeepMind. Para ello aprovechó una mayor media de acciones por minuto, de decenas de miles frente a cientos, y se sobrepuso a limitaciones del algoritmo como un retraso de 350 milisegundos entre observación y acción. Pero no solo eso. Alphastar ha sido capaz de daños propios y maximizaba los daños de los rivales, algo que iba más allá de la relevancia de las acciones por minuto. Es decir, simplemente tomaba mejores elecciones.
