En regardant simplement des séquences de jeu, la nouvelle IA peut transférer des compétences entre les jeux
En bref: Les IA de Google DeepMind ont passé des années à humilier les champions des jeux de société et des jeux vidéo, mais un nouveau projet de la division de recherche est plutôt conçu pour interpréter les instructions humaines dans les jeux. L’IA qui en résulte fait preuve d’un impressionnant ensemble de compétences de jeu généralisées, que les chercheurs espèrent appliquer à d’autres environnements.
Google DeepMind a récemment dévoilé SIMA (Scalable Instructable Multiworld Agent) – une IA qui a appris à effectuer diverses actions dans différents jeux vidéo basées sur des commandes humaines. Ce développement constitue un tournant décisif par rapport aux autres recherches de la société sur l’IA liées aux jeux.
Contrairement aux autres IA de jeu, SIMA ne peut accéder à rien que les joueurs humains ne puissent accéder. Il ne peut pas lire les entrées ou le code d’un jeu comme un personnage contrôlé par le processeur et effectue des actions via les entrées du clavier et de la souris en fonction de ce qui est visible à l’écran.
Comme les précédentes IA de DeepMind, qui ont appris à battre les joueurs professionnels de Go, Chess, StarCraft II et Quake III en regardant des centaines de milliers de matchs, SIMA a été entraînée sur une quantité massive d’images de neuf matchs. Cependant, au lieu d’apprendre à gagner à chaque jeu de manière isolée, la nouvelle IA a appris à accomplir de nombreuses tâches dans chacun d’entre eux, en transférant les compétences entre les titres.
En collaboration avec huit développeurs, Google a utilisé des images de sessions solo et coopératives de No Man’s Sky, Goat Simulator 3, Teardown, Satisfactory, Valheim et d’autres jeux. La société s’est concentrée sur des titres sandbox moins violents avec un large éventail de mécanismes de jeu pour élargir la gamme d’actions que SIMA pourrait apprendre.
Bien que l’IA ne puisse actuellement accomplir que des tâches simples comme utiliser une échelle ou franchir un obstacle, elle peut le faire avec précision en fonction de commandes verbales. De plus, après s’être entraîné sur tous les jeux sauf un, SIMA a quand même rapidement appliqué ses compétences générales à ce titre final. Les chercheurs de Google espèrent qu’il pourra éventuellement mener à bien des procédures complexes en plusieurs étapes. L’IA s’est également révélée prometteuse dans les nouveaux environnements créés par les chercheurs dans Unity, indiquant la possibilité d’appliquer la formation en jeu à des tâches non liées au jeu, ce qui pourrait avoir un impact sur le domaine de la robotique.
Un autre projet DeepMind récent lié aux jeux, Genie, peut transformer des images statiques en niveaux de jeu vidéo 2D jouables. Google a formé l’IA sur des centaines de milliers d’heures de vidéos publiques de jeux de plateforme 2D, lui apprenant finalement à créer des jeux à partir de croquis, de photos et de rendus.