Des scientifiques paniqués et obligés de débrancher une intelligence artificielle hors de contrôle car elle a créé son propre langage. Le scénario d'un film catastrophe ? Non, simplement un emballement médiatique de ces derniers jours à propos d'une publication Facebook datant de mi-juin.

Il y a un mois et demi, Facebook publiait un article sur l'intelligence artificielle, plus particulièrement sur une IA entrainée pour mener des négociations. L'expérience était la suivante : deux « agents » devaient trouver un terrain d'entente afin de se partager des objets (deux livres, un chapeau et trois ballons). Bien évidemment, chaque agent ne savait pas ce que voulait l'autre, ce serait trop simple sinon. Le but étant de trouver une solution qui convienne aux deux en moins de 10 échanges.

Facebook y explique les différentes étapes de son raisonnement et les barrières à franchir pour déboucher sur un résultat satisfaisant. L'expérience a visiblement été un succès pour Facebook. En effet, lors des tests, l'IA aurait été confrontée à des humains sans que ces derniers ne s'en rendent compte. 

L'intelligence artificielle de Facebook sait mener des négociations

Pour arriver à ses fins, l'intelligence artificielle peut par exemple feindre de ne pas être intéressée par un des objets afin de le récupérer à moindre coût. Au contraire, elle est capable de faire croire qu'elle veut le chapeau pour finalement le « sacrifier » durant la négociation. Bref, un marchandage comme le pratiquent régulièrement les humains.

Depuis quelques jours, la machine médiatique s'est emballée pour une autre histoire : Facebook aurait débranché son intelligence artificielle car elle a inventé son propre langage, certains parlant même d'une « panique » chez les ingénieurs du réseau social. Ce n'est évidemment pas aussi simple... Plusieurs chercheurs de chez Facebook, dont le patron de l'IA en personne, Yann LeCun, se sont exprimés sur cette affaire.

Quand deux IA discutent, elles peuvent créer leur propre langage... et alors ?

Comme toujours en pareille situation, l'IA a été entrainée en étudiant des négociations passées, mais aussi en discutant avec elle-même. Une technique loin d'être nouvelle ; elle est notamment utilisée par DeepMind en faisant jouer AlphaGo contre lui-même au jeu de Go.

Lors d'une négociation IA vs IA, les chercheurs de Facebook expliquent qu'ils ont dû « fixer » les paramètres d'une des deux IA afin d'éviter une dérive : « la mise à jour des paramètres des deux agents a entraîné une divergence du langage humain et les agents développaient leur propre langue pour négocier ».

À l'époque, ce point avait d'ailleurs fait les gros titres de journaux, occultant parfois le reste de la publication. Depuis quelques jours, c'est de nouveau le branle-bas de combat dans les médias. En effet, « surpris » par cette expérience, Facebook aurait décidé de « débrancher » son intelligence artificielle. De quoi alimenter la psychose et emballer la machine à clics, surtout outre-Atlantique.

Cette situation a poussé Dhruv Batra, co-auteur du papier de Facebook publié mi-juin, à sortir du bois pour revenir sur les « scénarios apocalyptiques » évoqués dans la presse et donner sa vision des faits. « L'idée d'une intelligence artificielle inventant son propre langage peut sembler alarmante/inattendue chez les personnes ne travaillant pas dans ce domaine, mais c'est un sous-domaine bien défini de l'IA, des publications en parlent depuis des décennies » explique-t-il. 

Une intelligence artificielle peut utiliser des moyens « non intuitifs » de trouver une solution, passant par exemple par une modification de son langage. « Modifier des paramètres d'une expérience N'EST PAS identique à "débrancher" ou "arrêter" une IA. Si tel était le cas, tous les chercheurs en intelligence artificielle "arrêtent une IA" chaque fois qu'ils tuent une tâche sur une machine » surenchérit-il.

Les chercheurs de Facebook unis pour dénoncer le traitement médiatique

Il est d'ailleurs rejoint par Yann LeCun, patron de l'intelligence artificielle chez Facebook : « Une grande partie de la communauté sur la recherche dans l'IA est [consternée] » à propos des publications récentes allant beaucoup trop loin. « Je ne veux pas cibler certains articles ou fournir des réponses spécifiques, de peur d'alimenter ce cycle de citations prises hors contexte, mais je trouve une telle couverture médiatique irresponsable » ajoute pour sa part Dhruv Batra.

Michael Lewis, un autre co-auteur du papier de Facebook, donne sa vision des faits à nos confrères de Snopes, un site spécialisé dans le fact-checking. Il précise lui aussi que l'IA a développé son propre langage, mais précise la temporalité : « Alors que les systèmes étaient initialement entrainés à communiquer en anglais, dans certaines expériences initiales nous les récompensons uniquement pour atteindre leur objectif, pas pour utiliser un bon anglais ».

« Ce n'était pas important » et ce n'est pas la première fois

Après des milliers de conversations, les agents ont commencé à utiliser des mots d'une manière dont les humains ne le font pas. « Dans un certain sens, ils avaient un langage simple qu'ils pouvaient utiliser pour communiquer entre eux, mais il était difficile pour les gens de comprendre » ajoute-t-il.

« Ce n'était pas important ou particulièrement surprenant » précise Michael Lewis. Les paramètres ont ensuite été ajustés afin de récompenser l'IA pour l'utilisation d'un anglais correct. Et si vous vous demandez quel est ce langage, voici un exemple de conversation entre deux agents (Alice et Bob) au cours d'une négociation :

Bob: i can i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

En l'état, impossible pour l'intelligence artificielle de dialoguer avec un humain, or c'était le but de l'expérience à la base. Le fonctionnement de l'IA a donc été revu pour prendre en compte cette dérive.

Dans tous les cas, ce n'est pas la première fois qu'une intelligence artificielle crée son propre langage pour communiquer, et ce n'est probablement pas la dernière. Il y a quelques mois, OpenAI – une alliance ouverte pour la recherche sur l'intelligence artificielle cofondée par Elon Musk – dévoilait le résultat d'une expérience où des agents avaient inventé un langage simple pour communiquer entre eux.

Il existe tout de même des risques liés à l'intelligence artificielle

S'il ne faut pas forcément s'alarmer d'une IA disposant de son propre langage, il faut néanmoins se pencher activement sur le sujet de l'intelligence artificielle. Ce domaine va prendre de plus en plus d'importance et ne sera pas sans conséquence, notamment sur l'emploi. Un rapport européen pointe d'ailleurs les risques en découlant (voir notre analyse).

Plus complet, l'OPECST a publié au mois de mars un compte rendu complet de six mois de travail sur l'IA. Le document épais de 275 pages reprend de nombreux témoignages et analyses, que nous avons décortiqués et synthétisés dans cette actualité. Ce genre de nouvelle alimente d'autant plus facilement les peurs liées aux algorithmes et à l'IA que l'imaginaire est riche, avec la crainte qu'une « perte de contrôle » signifie « folie » du logiciel.

Terminator et le réseau Skynet sont des figures classiques des articles sur le sujet, quand les craintes (souvent vagues) de grands noms comme Bill Gates, Elon Musk et Stephen Hawking sont de bons moyens d'accrocher le lecteur, quitte à parfois forcer le trait.