Una IA aprende a jugar Minecraft con 720 gráficas y 70.000h de YouTube
A día de hoy, los sistemas que emplean Inteligencia Artificial son capaces de realizar casi cualquier cosa, incluído jugar. Tiempo atrás quedan las IA que ganaban partidas de ajedrez o la IA que jugaba mejor que el 99.8% de los jugadores en Starcraft II. Ahora es el turno de OpenAI, la primera IA que ha logrado fabricar un pico de diamante en Minecraft tras 70.000 horas de YouTube.
La compañía de investigación sobre inteligencia artificial sin ánimos de lucro, OpenAI, anuncia que ha creado el primer pico de diamante en Minecraft utilizando su IA. Esta no sería la primera vez que una inteligencia artificial se sumerge en este mundo de bloques pixelados, pero se convierte en el mayor progreso hasta la fecha. Y es que, Minecraft es mucho más complejo que un juego de ajedrez o Starcraft, al haber muchas más variables.
Minecraft es un juego difícil para la IA, pero tras miles de tutoriales de YouTube, está preparada
Así la han entrenado, con fabulosos vídeos de Minecraft de la plataforma YouTube, dando un total de 70.000 horas de visualización. No obstante, el trabajo ha dado sus frutos, ya que ha sido la única capaz de lograr esta hazaña. La particularidad de este logro es que jugó Minecraft en modo supervivencia, cuando las otras IAs estaban en modo creativo. Además, fueron los primeros en hacer que esta organizara el inventario y crafteara de forma natural.
Esto lo han logrado debido a que OpenAI simula el input de teclado y ratón como si fuese un jugador real, pero a una tasa de únicamente 20 FPS. Pero claramente requiere información para saber como jugar, por tanto, emplearon una metodología llamada Video PreTraining (VPT). Para ello, primero registraron 2.000 horas de vídeos de Minecraft para ver qué acciones realizaban las teclas pulsadas.
Tras este paso, se entrenó un Modelo Dinámico Inverso (IDM), que sirvió par predecir las acciones de frames pasados y futuros de los videos. Por último, emplearon 70.000 horas de vídeos de YouTube, donde predecían las acciones, aunque únicamente usando frames pasados. Gracias al VPT y el entrenamiento tan largo, que según el equipo equivalía a 270.000 horas de gameplay editado, consiguieron esta proeza.
Se utilizaron un total de 32 NVIDIA A100 y 720 NVIDIA Tesla V100 para entrenar la IA
El equipo compuesto por nueve miembros, hizo uso de 32 aceleradores gráficos NVIDIA A100 con el objetivo de aprender la relación entre los inputs y las acciones. Este proceso duró cuatro días, pero las siguientes 70.000 horas de vídeo, requirieron nueve días, empleando 720 GPU NVIDIA Tesla V100. Como resultado, la IA fue capaz de conseguir material y craftear por su cuenta, viendo en estos gráficos comparativos la mejora de la velocidad del algoritmo.
Para optimizar este, utilizaron videos del "early game" del juego, que correspondieran a los primeros 10 minutos de Minecraft. Aquí, emplearon 16 gráficas NVIDIA A100, durante el transcurso de dos días. Tras esto, vieron grandes mejoras de rendimiento, por ejemplo, el crafteo de bancos de trabajo era 215x más rápido y el crafteo de tablas de madera era un 59x más veloz.
Finalmente, el último paso que tomo el equipo de OpenAI fue el de que la IA lograse craftear un pico de diamante. Además, lo logró en un tiempo inferior al jugador promedio, poco más de 4 minutos. Sin embargo, hubo problemas en la multitarea, donde la inteligencia artificial olvidaba ciertos pasos y hacía que tardase más. Pero para solucionar esto, la IA del Minecraft necesitó una enorme potencia de cálculo: usó 56.719 núcleos de CPU y 80 GPUs procesando 16.800 millones de fotogramas tras seis días.
