StarCraft II : l'intelligence artificielle AlphaStar met une déculottée à deux joueurs pros

StarCraft II : l’intelligence artificielle AlphaStar met une déculottée à deux joueurs pros

StarCraft II : l'intelligence artificielle AlphaStar met une déculottée à deux joueurs pros

Une série de combats entre l'intelligence artificielle de DeepMind (Google) et des joueurs de StarCraft était attendue depuis la Blizzcon 2016.

Deux séries de cinq matchs se sont déroulées en décembre dernier entre AlphaStar (Deepmind) et deux joueurs professionnels : TLO et MaNa. Le score est sans appel : 10 à 0 pour l'intelligence artificielle…

Hier un onzième match a été diffusé en direct sur YouTube et Twitch (les replays sont disponibles ici et ), avec une victoire pour MaNa face à AlphaStar. Engadget précise que les combats se sont déroulés sur la carte Catalyst avec une version du jeu « légèrement dépassée ».

Comme lors des matchs au jeu de Go, DeepMind commence ici avec des bons joueurs, mais pas forcément les meilleurs actuellement. Il faudra voir si AlphaStar s'attaquera à d'autres professionnels du circuit, notamment ceux qui ont remporté de prestigieuses compétitions récemment (Maru, sOs ou INoVation par exemple) ou des légendes comme MC, Mvp, Polt, MMA...

DeepMind a publié un long billet de blog pour revenir en profondeur sur les matchs et l'entraînement d'AlphaStar

Commentaires (35)


Petite précision : TLO est un joueur zerg, qui a été forcé de jouer protoss car AlphaStar ne sait jouer que protoss vs protoss pour l’instant.



Au vu des match, l’IA aurait galérée contre les tops players mentionnés (Maru, sOs) mais laisse comprendre que ce n’est qu’une question de temps avant que l’humain ne soit dépassé, comme au go et aux échecs.

Le résultat actuel est déjà bluffant, tout en étant bridé en APM et en observation de la carte (pour émuler les limitations humaines).




Il faudra voir si AlphaStar s’attaquera à d’autres professionnels du circuit, notamment ceux qui ont remporté de prestigieuses compétitions récemment (Maru, sOs ou INoVation par exemple)





Serral surtout, s’ils le battent lui on saura que ça sert plus à rien de jouer à SC2…


Clair, après le go, on pensait que les RTS allaient être un autre challenge qu’un jeu à connaissance complète au tour par tour. En fait, ça va être plié en quelques années.








crocteamgg a écrit :



Serral surtout, s’ils le battent lui on saura que ça sert plus à rien de jouer à SC2…





De toute façon, avec Serral sur le circuit c’est déjà inutile de jouer à SC2 <img data-src=" />



Dans quelques années ça sera les jeux 3d… Puis après, les analyses de match sportifs se fera via ia pour voir les soucis et les stratégies optimales pour gagner… Dans 20 ans, l’ia fera réellement parti de notre quotidien…








crocteamgg a écrit :



Serral surtout, s’ils le battent lui on saura que ça sert plus à rien de jouer à SC2…





De la même façon que les gens continuent a jouer au échecs et au go, on continuera à jouer a SC2, juste pas contre des IA.

En lisant le papier, il est dit que les “During training, each agent experienced up to 200 years of real-time StarCraft play.”, du coup quel serait le niveau de jeu de ces IA avec le même temps d’apprentissage qu’un humain&nbsp; genre quelques années max? à mon avis bien inférieur.



Oui mais on peut pas s’arrêter à ça. Déjà, l’apprentissage de 200 ans a pu être compressé en seulement quelques années. Impossible pour un humain. Et puis on peut parier sur le fait que les IA apprendront de plus en plus vite au fur et à mesure des avancées en la matière.



Sinon ça, j’suis bien d’accord avec toi : on continuera toujours de jouer. Les soucis qu’on pourrait rencontrer par contre, dans quelques années, c’est dans le jeu en ligne. Des putains de troll pourraient faire tourner leurs IAs pour pourrir l’expérience de jeu des gens… et ça, ça fera bien chier. Ça pourrait annihiler le jeu en ligne, tout bonnement :x



Dans l’eSport y’a pas de soucis, l’environnement est contrôlé. Pour le loisir, par contre, c’est une autre histoire :x


Où sont tous ces gens qui affirmaient que l’IA n’était rien de spécial, juste de l’apprentissage basique et que SC2 lui poserait un gros problème pendant des dizaines d’années ? <img data-src=" />

Certains se cachent et ils ont raison, d’autres nous sortent les mêmes sornettes “oui mais non mais tu comprends elle est encore guidée, il a bien fallu un humain pour la créer :beer: :jesaistout:”



L’affaire est déjà pliée, la question porte seulement sur notre prise de conscience à temps pour que ce soit intelligemment fait voire intelligemment encadré

Et vu les œillères que beaucoup se mettent, ça sent pas bon <img data-src=" />








steinfield a écrit :



Clair, après le go, on pensait que les RTS allaient être un autre challenge qu’un jeu à connaissance complète au tour par tour. En fait, ça va être plié en quelques années.





Perso, je n’avais pas d’inquiétude sur la capacité des IA à plier ce nouveau défi en l’espace de quelques années (et encore, en dégradant certaines performances pour rester sur des niveaux humains).









Kevsler a écrit :



Oui mais on peut pas s’arrêter à ça. Déjà, l’apprentissage de 200 ans a pu être compressé en seulement quelques années. Impossible pour un humain. Et puis on peut parier sur le fait que les IA apprendront de plus en plus vite au fur et à mesure des avancées en la matière.



Sinon ça, j’suis bien d’accord avec toi : on continuera toujours de jouer. Les soucis qu’on pourrait rencontrer par contre, dans quelques années, c’est dans le jeu en ligne. Des putains de troll pourraient faire tourner leurs IAs pour pourrir l’expérience de jeu des gens… et ça, ça fera bien chier. Ça pourrait annihiler le jeu en ligne, tout bonnement :x



Dans l’eSport y’a pas de soucis, l’environnement est contrôlé. Pour le loisir, par contre, c’est une autre histoire :x





Aucun problème, on fera des IA pour détecter les patterns humains dans les comportements.

Et vu qu’il faut de l’apprentissage aux IA, elles nécessiteront trop d’essais+bans pour apprendre les patterns recherchés par l’IA de police









Arwendil a écrit :



En lisant le papier, il est dit que les “During training, each agent experienced up to 200 years of real-time StarCraft play.”, du coup quel serait le niveau de jeu de ces IA avec le même temps d’apprentissage qu’un humain&nbsp; genre quelques années max? à mon avis bien inférieur.





Je pense pas que ça ait un sens de comparer les temps d’apprentissage d’une intelligence généraliste à une intelligence spécialisée.



Après ce qu’il faut aussi voir, c’est quelle est l’interface de l’IA avec le jeu. L’humain étant physiquement limité sur la quantité et la précision des ordres qu’il peut donner, alors que l’IA au moyen d’une bonne API peut théoriquement faire de milliers d’actions parfaitement précises par seconde.



C’est sûr que quand l’IA serait devenu accessible au

grand public, et qu’on pourra l’utiliser comme les gens utilisent

actuellement les bots pour le farming

ça sera un problème, mais les développeurs des jeux auront des IA

entraînées a détecter que se sont des IA qui jouent et non pas des vraie

personnes <img data-src=" />.


Ah ouais pas con ! Il peut y avoir un seuil, ceci dit, ou l’IA deviendra indistinguable de l’humain. Et là… Skynet, Armagedon, Independance Day, Mad Max.








Arwendil a écrit :



De la même façon que les gens continuent a jouer au échecs et au go, on continuera à jouer a SC2, juste pas contre des IA.

En lisant le papier, il est dit que les “During training, each agent experienced up to 200 years of real-time StarCraft play.”, du coup quel serait le niveau de jeu de ces IA avec le même temps d’apprentissage qu’un humain  genre quelques années max? à mon avis bien inférieur.





C’est une “IA” très très spécialisé (IA faible), elle apprend lentement car elle ne part d’aucune connaissance au préalable et elle ne connaît que Starcraft II. Elle ne peut donc pas, à la manière d’un humain, tirer profit d’autre expérience que celle qu’elle a sur Starcraft.

Ce qui fait la force d’un humain face à ce genre d’IA, c’est justement qu’il part avec un énorme bagage d’expériences divers et qu’il est capable de généraliser à partir de ces expériences. Du coup, dans un nouveau contexte, l’humain va vite apprendre d’une faible quantité d’expérience de ce contexte en les croisant avec ses autres expériences.



Du coup, si l’humain trouve une faille dans la stratégie de Alphastar, ce dernier va mettre énormément de temps à trouver une nouvelle stratégie pour la contrer.



Au final, les 200ans d’expériences, ça ne veut pas dire grand chose.



Sauf qu’on pourra faire une IA pour détecter les pattern détectés par l’IA qui détecte les IA, et ainsi de suite.



Je pense qu’au final comme pour les échecs actuellement, ça reposera sur la bonne fois des joueur qui veulent s’amuser. Les IA monteront au classement en ligne, qui&nbsp; de toute façon n’a aucune valeur et elles finiront par jouer entre elles.

Seule les compétitions sur du matériel contrôlé feront référence.


Je dois avouer que ce n’est pas vraiment pertinent de comparer cela.



Pour l’interface de l’IA avec le jeu, ils ont mis des limites, par exemple 350ms de temps de réponse. Ils ont aussi mesuré les APM de l’IA comparé aux joueurs pros et elle est bien inférieur, en moyenne 277 apm pour l’IA contre 390 pour mana et 678 pour TLO. Par contre l’IA est probablement bien plus précise et n’a pas besoin de spammer, chaque action est normalement efficace.

&nbsp;

Enfin ils ont tenté deux approches au niveau de la caméra, une ou l’IA voie comme si il avait toute la carte à

l’écran, et une version où il avait a manipuler une camera comme un

joueur humain et ce concentré sur certaines parties de la carte, la

seconde à un mmr un peu inférieur, mais quand même au dessus des 2 joueurs pro à la fin de l’apprentissage.


N’empêche j’ai hâte de voir une IA sur Wow en PVE : fondamentalement ça reste des patterns prévisible donc c’est assez simple … mais le comportement des 19 autres joueurs lui il est moins prévisible et l’IRA devra surtout apprendre à s’adapter aux autres plus qu’au jeu ca peut donner des résultats intéressant si Blizzard accorde un environnement de dev à Deepmind après Starcraft


Est-ce qu’on ajoute à l’AI quelques handicaps comme la vitesse de déplacement d’une soirée ou la latence du clic?



Il ‘y a le cerveau et les contraintes du corps humain ainsi que les préciseus ms de réactions des périphériques.



Autant sur une partie d’échecs ou de go il n’y a pas de notion de temps. Là, ça me paraît un critère important pour la victoire.



(pas taper, j’ai jamais joué à Starcarft)








Arwendil a écrit :



C’est sûr que quand l’IA serait devenu accessible au

grand public, et qu’on pourra l’utiliser comme les gens utilisent

actuellement les bots pour le farming

ça sera un problème, mais les développeurs des jeux auront des IA

entraînées a détecter que se sont des IA qui jouent et non pas des vraie

personnes <img data-src=" />.





Ca me fait penser à un truc qui s’appelle “Generative adversarial neural network” (ou GAN) : tu apprends à une première “IA” (discriminator) à reconnaître ce qui est issu d’un “faux” généré par une seconde IA (generator) et ce qui est issu d’un “vrai”. Mais en même temps, tu apprends aussi à la seconde “IA” (generator) à générer des “faux” pour tromper la première “IA” (discriminator) (si tu as la première “IA”, tu peux avoir facilement connaître comment améliorer le “faux” pour pouvoir tromper la première “IA”).



Pour l’instant ^^



D’ici quelques années des IAs pourraient bien faire le pont entre les patterns d’apprentissage, d’efficacité, de productivité, d’un RTS et appliquer ces patterns à d’autres domaines. Puis une IA seule pourra faire ce qu’un humain fait aujourd’hui.



La seule limite qu’il peut y avoir aux IA : c’est la quantité finie de matières premières disponibles pour la construction des infrastructures matérielles. J’pense aussi au cerveau humain, qui jusqu’à maintenant est le créateur de ces IAs. Mais y’a moyen qu’une fois cette limite atteinte, une IA prenne le relais :p








tazvld a écrit :



Du coup, si l’humain trouve une faille dans la stratégie de Alphastar, ce dernier va mettre énormément de temps à trouver une nouvelle stratégie pour la contrer.





Je ne pense pas que l’IA soit bloqué sur une (ou un petit nombre) stratégie en particulier qui marcherait a tous les coups.

Justement l’intérêt d’une IA même faible et spécialisé sur un jeu en particulier, c’est de pouvoir s’adapter à différentes situations, et en fonction des informations et actions de son adversaire de changer de stratégie. Et même si l’IA est figé à la fin de l’apprentissage et n’apprend plus, quand tu as 200 ans d’expérience sur le jeu, tu as probablement vu une grande partie des stratégies possibles.



L’apprentissage ça sert a ça, l’IA perd contre une stratégie en particulier d’une autre IA, celle qui gagne continue à jouer cette stratégie, celle qui perd en change pour la contrer, jusqu’à ce qu’elle gagne. Et inversement jusqu’à ce qu’ils aient exploré une bonne partie des stratégies possibles.



Après je ne suis pas expert en la matière.



On a pas attendu l’IA pour avoir des parties pourries par qq tricheurs qui ne s’en cache même plus !








skan a écrit :



Est-ce qu’on ajoute à l’AI quelques handicaps comme la vitesse de déplacement d’une soirée ou la latence du clic?





D’après ce qui est dit plus haut, l’IA fait beaucoup moins d’actions&nbsp;par minute (APM) que les joueurs pros.



Je dirais que le joueur pro est limité à une vision 800x600px et doit déplacer la carte pour voir là où il y a une nouvelle détection radar. Là où l’AI risque de téléporter directement la vue.



Je n’ai pas lu les détails sur le branchement.

Est-ce que l’AI communique par script ou elle analyse une image bitmap, envoie des impulsions sur une souris et un clavier branchés à un PC standard?


Oui enfin APM et EPM c’est pas la même chose (EPM = APM - SPAM). C’est les EPM qu’il aurait fallut comparer


La question de l’APM et du viewport sont des leurres. Tout le monde sait que l’ordinateur agit et réagi plus vite que l’homme, ce n’est pas ce que ces showmatchs testaient. On ne bat pas un GM avec un simple avantage d’APM. L’IA a réussi à mettre en place des stratégies gagnantes dans un environnement à données incomplètes, c’est ça l’exploit.


J’y connais rien à SC2, mais c’est pas les Coréens qu’il faudrait essayer de battre? ;)



En tout cas c’est déjà très impressionnant, et un petit survol du papier référencé dans la news permet de se convaincre que les humains n’ont absolument aucune chance contre l’IA aux jeux solos.

Pour SC2, une fois la première génération d’agents entraînée à partir de données de joueurs lambda, il leur a suffit de faire tourner une “ligue IA” d’agents pendant 2 semaines (200 ans d’expérience de jeu par agent) pour arriver à battre un humain top 10…ouch.



La seule chose qui reste aux joueurs humains, c’est peut-être la coordination dans des jeux qui favorisent le team play, mais pas sûr que ça dure.








Groupetto a écrit :



La seule chose qui reste aux joueurs humains, c’est peut-être la coordination dans des jeux qui favorisent le team play, mais pas sûr que ça dure. le ragequit.





<img data-src=" />









Kevsler a écrit :



Pour l’instant ^^



D’ici quelques années des IAs pourraient bien faire le pont entre les patterns d’apprentissage, d’efficacité, de productivité, d’un RTS et appliquer ces patterns à d’autres domaines. Puis une IA seule pourra faire ce qu’un humain fait aujourd’hui.



La seule limite qu’il peut y avoir aux IA : c’est la quantité finie de matières premières disponibles pour la construction des infrastructures matérielles. J’pense aussi au cerveau humain, qui jusqu’à maintenant est le créateur de ces IAs. Mais y’a moyen qu’une fois cette limite atteinte, une IA prenne le relais :p







Je ne pense pas que c’est avec l’actuelle technologie (les réseaux de neurones) que l’on va avoir ce genre d’IA.



Le jour où les ordinateurs quantique seront de sortie, là, oui, on pourra chier dans notre froque. Les ordinateurs pourront alors joué l’intégralité de toutes les parties existantes (il faut autant de qbit qu’il faut de bit pour représenter l’état de la partie en un instant t. La mémoire quantique sera alors la superposition de tous les états possibles de toutes les parties).







Arwendil a écrit :



Je ne pense pas que l’IA soit bloqué sur une (ou un petit nombre) stratégie en particulier qui marcherait a tous les coups.

Justement l’intérêt d’une IA même faible et spécialisé sur un jeu en particulier, c’est de pouvoir s’adapter à différentes situations, et en fonction des informations et actions de son adversaire de changer de stratégie. Et même si l’IA est figé à la fin de l’apprentissage et n’apprend plus, quand tu as 200 ans d’expérience sur le jeu, tu as probablement vu une grande partie des stratégies possibles.



L’apprentissage ça sert a ça, l’IA perd contre une stratégie en particulier d’une autre IA, celle qui gagne continue à jouer cette stratégie, celle qui perd en change pour la contrer, jusqu’à ce qu’elle gagne. Et inversement jusqu’à ce qu’ils aient exploré une bonne partie des stratégies possibles.



Après je ne suis pas expert en la matière.







Starcraft comme de nombreux jeux ont un nombre de possibilité de déroulement qui explose très vite. Impossible, même en 200ans d’en avoir fait le tour. Je pense que le choix est fait entre en considérant par exemple que chaque joueur cherche à gagner (à améliorer ses chances de gagner par rapport à celui actuel dans un futur plus ou moins proche) et en privilégiant du coup ce genre de partie. Ainsi, la machine ici n’est pas prêt pour des coups peu “orthodoxe”.

Je ne dit pas qu’il est simple, mais la machine n’est pas infaillible, et la moindre faille pourrait être exploité tant qu’elle n’a pas appris à s’en prévenir.









tazvld a écrit :



Je ne pense pas que c’est avec l’actuelle technologie (les réseaux de neurones) que l’on va avoir ce genre d’IA.&nbsp;





Les réseaux de neurones sont une infime partie de ce qui existe déjà en matière d’IA.

&nbsp;



Bien sûr, mais c’est ce qui est utilisé ici (“AlphaStar plays the full game of StarCraft II, using a deep neural network that is trained directly from raw game data by supervised learning and reinforcement learning.”) et c’est ce qui aujourd’hui surpasse la grande majorité des algo de machine learning.



Après, oui, le machine learning est un sous-ensemble des IA, mais c’est aussi cette partie qui est le plus intéressante si l’on veut un début d’IA généraliste.








tazvld a écrit :



Bien sûr, mais c’est ce qui est utilisé ici (“AlphaStar plays the full game of StarCraft II, using a deep neural network that is trained directly from raw game data by supervised learning and reinforcement learning.”)





On lit chacun ce qu’on veut lire, moi je me concentre sur cette part: “supervised learning and reinforcement learning”



Battre des humains à des jeux de réflexion avec Deepmind, c’est une très jolie carte de visite pour Google.



Mais quel est l’objectif final de la chose ? A part faire un meilleur bot de démonétisation, bien sur.




Il faudra voir si AlphaStar s’attaquera à d’autres professionnels du circuit…INoVation





Un combat entre 2 machines <img data-src=" />



Sinon ok pour le PvP face à des joueurs moyens en pré-retraite, mais elle va devoir s’entrainer encore quelques milliers d’années pour apprendre les 9 matchups face à des bons joueurs imprévisibles (SoS, Maru, Life…) <img data-src=" />


Voilà encore une grande utilité.

On voit à quoi servent les impôts que Google ne nous paie pas.


Fermer