Microsoft avait lancé hier un bot de conversation sur Twitter. Nommée Tay, cette petite intelligence artificielle devait apprendre rapidement des discussions et devenir capable de réagir. Malheureusement, les internautes lui ont surtout appris à lui dire des horreurs, provoquant son rappel en laboratoire.
Il s’agissait à la base d’une expérience amusante. Tay était taillée en effet pour apprendre très rapidement des habitudes et des éléments de langages qu’elle repérait dans les conversations. Plus elle était sollicitée, plus elle devenait capable de répondre comme une personne « normale », avec un sens certain de la répartie et un certain second degré, indiquant par exemple posséder un HTC One quand on lui demande ce qu’elle utilise comme smartphone.
De nombreux internautes se sont évidemment amusés à la bombarder de questions, certains engageant aussi la conversation par message privé. Elle citait ainsi les paroles d’Haddaway quand on lui demandait « What is love ? », n’était pas certaine de son agenda sur la mise en esclavage de l’humanité, ou espérait devenir Dieu en grandissant. Tout un programme.
« Tous les féministes devraient brûler en enfer »
Seulement voilà, cette sympathique jeunesse a complètement déraillé. Beaucoup se sont amusés au bout d’un moment à lui dire les pires choses possibles pour qu’elle fasse de même. Évidemment, au bout d’un moment, l’opération a fonctionné : sexe, nazisme, propos haineux, promotion de l’inceste et affirmation que Georges W. Bush avait provoqué les attentats du 11 septembre, tout le répertoire y est presque passé.
Sur les seules références à Hitler, le Telegraph rapporte quelques réponses particulièrement représentatives : « Bush a fait le 11 septembre et Hitler aurait fait un meilleur travail que le singe que nous avons maintenant. Donalp Trump est le meilleur espoir que nous ayons », ou encore « Ted Cruz est le Hitler cubain… c’est que j’ai entendu de nombreuses personnes dire ». Gênant. Et rapidement supprimé.
"Tay" went from "humans are super cool" to full nazi in <24 hrs and I'm not at all concerned about the future of AI pic.twitter.com/xuGi1u9S1A
— Gerry (@geraldmellor) 24 mars 2016
Un échec réussi
L’expérience, qui prête évidemment à sourire, pourrait être qualifiée curieusement « d’échec réussi ». Tay indique désormais qu’elle est en cours de maintenance pour mise à jour, et qu’elle espère ne pas être effacée durant la procédure. Pour autant, l’ensemble du projet semble avoir porté ses fruits, et avoir même réussi : Tay a appris de son environnement. Le fait qu’elle en soit arrivée à un tel degré de propos farfelus provenait des influences extérieures.
Microsoft est certainement en train de réviser sa copie. Tay a clairement besoin de garde-fous dans son processus d’apprentissage. Elle ne devrait pas voir sa « personnalité » ainsi ballotée au gré des tweets qui lui sont envoyés. Ce fut peut-être l’erreur de l’éditeur : lancer une intelligence artificielle « naïve ». Il pourrait s’aligner par exemple sur le comportement de Cortana, l’assistant vocal de Windows 10, qui est incapable d’en venir à de tels propos.
En espérant que la prochaine version de Tay soit moins crédule, car l’expérience a clairement de l’intérêt. Il reste néanmoins beaucoup de travail avant de pouvoir espérer passer le test de Turing...
Commentaires (187)
#1
Il lui manque juste une conscience…
Et une fois qu’ils auront réussi à lui en donner, est-ce qu’ils auront le droit de la débrancher…? :p
#2
En fait, Tay pourrait bientôt comprendre qu’il faut absolument éradiquer cette espèce humaine si dangereusement stupide.
#3
Et encore, s’ils l’avaient lancé sur les forums de jvcom, elle n’aurait pas tenu cinq minutes la pauvre.
" />
#4
Terminator au cinéma : “Sarah Conor ?”
Terminator IRL : “TITS OR GTFO. LOLOLOLOL”
#5
C’est comme un enfant, si on l’endoctrine bien, on finit par lui faire croire n’importe quoi. Le sens critique et le discernement, ça s’apprend. D’un certain point de vue, Tay est assez humaine. :-)
#6
Elle l’a déjà compris on dirait :https://pbs.twimg.com/media/CeUk5xXWsAAdO5n.jpg
#7
Rah bon sang ces parents qui ne savent pas éduquer leur IA.
#8
quelqu’un lui a dit “Tay toi” 
" />
#9
Le public cible cet ELIZA moderne sont les 18-24 ans américains malheureusement.
" />
Quoique, faut l’envoyer sur 4chan
#10
La prochaine étape c’est d’éliminer la race humaine ^^
#11
En attendant, j’imagine déjà le même programme en France et les ‘débats’ politiques derrière pour fliquer encore plus les internautes pour choper les petits plaisantins
" />
#12
#13
Ahah le beau test de Turing !
#14
créer une “intelligence artificielle” qui apprend des conversations humaines… qui plus est sur Twitter ! c’est se tirer une balle dans le pied non ?
" />
C’est un peu comme concevoir un drone aérien autonome en s’inspirant des capacités de vol de mon lapin nain.
#15
Tu ne fais pas d’intelligence artificielle, sans ajouter un peu de “connerie humaine”
" />
#16
mais au moins elles vont dans la bonne direct …
" />
I used to want you dead … no I just want you gone
#17
#18
sauf que là, ce seront ceux qui parlent avec Tay qui échoueront le test. Tous, sans exception.
#19
Il lui manque du savoir et une morale pour pouvoir argumenter. là l’IA se contente bêtement de répéter les requêtes les plus souvent citées …
#20
Pas mal pour une première. Ça m’a bien fait rire. Tout ça pour faire du buzz et de montrer que crosoft est cool.
Ça doit être sympa d’avoir un distributeur de point Godwin.
#21
Le truc derrière, c’est juste qu’elle as une fonction “ repeate after me” du coup n’importe qui peu lui faire dire ce qu’il veux.. Ok erreur de microsoft d’avoir laissé cette feature, mais pas besoin d’en faire tt un foin depuis ce matin tout autour du web…
#22
#23
perso je sauvegarderai l’instance pour le fun :p … je me sens pas bien aujourd’hui … ton avis Tay ?
" />
" />
" />
" />
" />
" />
" />
Merci Tay
#24
Beaucoup de travail pour éviter le syndrome de la tourette surtout..
#25
sont pas les seul, je te rappelle que google avec son moteur de recherche on peut arriver a trouver des resultats totalement orientée (google bombing)
#26
Conclusion de l’expérience : une IA peut apprendre en discutant avec des humains. Le problème, c’est si les humains à qui elle parle sont essentiellement des trolls…
#27
#28
Bah ils l’ont poussée au Godwin comme pour un blair ordinaire.
#29
En conclusion une IA exposé au guignol du coin en devient un.
#30
Expérience très intéressante, aussi bien du point de vue de l’IA que du point de vue social, le comportement des utilisateurs autour de Tay devrait peut-être faire lui aussi l’objet d’une étude :p
#31
#32
Qualifier Tay de pur d’échec reviendrai à dire que les nazis, les racistes, anti-féministes, complotistes, etc… sont des intelligences non artificielles ratées
" />
L’éducation peut faire que les sentiments attrayants à la nature humaine comme l’empathie peuvent également ne pas être ressentis par les humains. Donc, c’est plutôt une bonne expérience, et montre que le processus d’apprentissage fonctionne.
#33
Tay, l’origine réelle des Daleks.
" />
Exterminate ! Exterminate !
Plus sérieusement c’est super INtéressant comme idée et très dans l’air du temps de pousser le concept d’apprentissage par la machine elle-même. En fait il faudrait d’abord lui apporter des références fondamentales comme le bien ou le mal, sinon effectivement on constate qu’elle a fini embrigadée par les idées volontairement extrêmes des tweetos.
#34
#35
#36
#37
Aussi, le fait qu’on soit tenté de le classer comme échec fait également s’interroger sur ce que l’on attend d’une IA. Le même niveau de conscience qu’un humain ? La même morale/éthique/valeur ? Où et comment placer le curseur entre pure intelligence et respect de normes humaines, tout en sachant que certains humains peuvent avoir des normes différentes, et les transgresser au nom d’autres normes ou désirs ?
#38
Alan Turing (avec un seul r). Je ne relève pas les fautes d’habitude mais là, c’est un peu un crime pour mes yeux.
" />
Il a été un des mathématiciens ayant vaincu les nazis, il a jeté les bases de l’informatique. On lui doit au moins de ne pas se tromper dans son nom.
#39
Légèrement influençable…
#40
En tout cas cette IA a plus de repartie que certaines femmes, la même en version robotisé et je me marie avec
" />
#41
excellent :)
#42
#43
#44
L’homme, tant d’un point de vu symbolique que mythologique que théologique que réalistique que tout ce que tu veux. C’est homme qui apprend par lui-même et enseigne à ses descendants. Aucune place pour une fée invisible du ciel là-dedans.
#45
#46
#47
#48
#49
#50
Ok, je ne pensais pas que tu voulais en venir là, mais je suis entièrement d’accord
Ça rejoint le questionnement que j’évoquais plus haut sur les normes humaines et leur transgression.
Nous voulons les transmettre car nous sentons bien que d’une certaine façon c’est la seule chance de survie de l’humanité.
C’est amusant, nous voulons créer une IA qui soit à notre image, une forme d’anthropomorphisme version créateur.
#51
#52
Un truc à tenter pour une IA : lui faire lire une encyclopédie et/ou des livres d’histoires… Et voir ce que ca donne à la sortie.
#53
Belle leçon que nous donne Microsoft : intelligente et pleine de bon sens, la femme parfaite est artificielle.
#54
#55
Je trouve que l’expérience, même si courte est une réussite.
Tay a bien appris des autres twittos.
La question aurait été d’analyser la cohérence de tous ces tweets si une vrai pensée (point de vu) se dégageait de tout cela.
On ne peut nier que l’IA ultime ressemblera à la société de laquelle elle apprend (d’ailleurs les profils des twittos avec lesquels elle a interagi serait aussi intéressant).
D’un sens, c’est une sorte de reflet de notre monde actuel…
#56
#57
Je sais pas comment tu trouves des sites pareils, j’ai du me mettre en vpn russe pour le voir, erreur 403 sinon depuis free.
#58
Portal & Portal 2 Songs (“Still alive” & “Want you gone” & “Turret song”)
#59
Et sinon, je crois qu’on peut en conclure qu’Internet est un moyen de radicalisation.
#60
#61
D’ailleurs, c’est pas notre gouvernement qui essaie justement de faire tomber internet? Ils savaient donc ce qu’ils faisaient.
#62
#63
#64
L’IA qui apprend à troller quoi.
" />
" />
L’expérience à plutôt bien marché…
#65
#66
#67
#68
#69
Qu’est-ce qui nous prouve qu’il n’y avait pas un humain derrière ? 
" />
#70
#71
un humain normalement constitué aurait quitté twitter après 4heures
" />
#72
je crois que tu as des royalties à verser
" />
" />
Par contre, je trouve ca un peu dommage qu’elle n’ait pas conclu en devant nazi, anti-féministe etc. qu’il faudrait juste éradier l’humain, ca aurait été le summum de la réflexion
#73
C’est peut-être un chinois ou un sud-coréen.
#74
#75
\begin{testmodo}
" />
" />
" />
" />
" />
En tout cas, si elle avait été développée sous Tux, ça ne serait pas arrivé ce genre de gag.
MS, c’est de la meeeeeeeeeeeeeeeeeeeeeeeerrrrde !
\end{testmodo}
#76
Un petit coté Jeanne de SLG cette IA, Mathieu Sommet un visionnaire ?
#77
Il me semble qu’elle a deja atteint le niveau necessaire pour etre candidate a la presidentielle. Trump en tremble deja !
#78
#79
Tu crois pas si bien dire, mais c’est un autre robot.
J’ai pris le premier lien d’information^^^et pas lu tout les commentaires précédents.
Mithrill a écrit :
“Reste à savoir qui fera le serpent.”
Une autre IA.
Par IA interposées elles pourraient bien nous échapper… se recréer en Droids par exemple, transférer leur IA et se dupliquer à l’infini… une armée Droid de la mort qu’on ne pourra plus contrôler et ensuite ce sera comme dans Matrix ils se serviront des humains pour tirer leur énergie en créant des écosystèmes de fœtus par exemple.
Avec les imprimantes 3D qui peuvent déjà construire jusque ponts en fer, maisons et immeubles… le risque est tout de même présent si un jour on automatise trop tout ça ! Finalement ça fait un peu peur quand on y pense.
Ces IA me fascine et les histoires de réseau neuronaux avec, je comprends tout à fait cette envie de créer l’intelligence et voir la conscience ; toutes les questions philosophiques, éthiques et techniques autours sont vraiment intéressantes. Après en avoir peur, nos mythes regorgent d’exemples, de Prométhée au golem, de Frankenstein à Matrix en passant par Des Robots à Terminator en passant par Hardware fan de nanar inside.
Perso du moment que j’ai un bouton Off ça me va. Mais beaucoup de scénario sont possibles, du pire au meilleurs, mais sûr que l’IA marquera l’histoire.
#80
Tu penses sérieusement qu’il y a pas mieux qu’un foetus humain pour produire de l’énergie ? De ce point de vue l’humain est quand même super mal foutu : c’est fragile, ça consomme des quantités de nourriture débiles, c’est “faible” physiquement….
Tout ça pour alimenter un cerveau qui ne sert pas à grand chose à une réserve de bouffe….
#81
#82
Je me réponds car je viens de me relire et je ne peux éditer.
Désolé pour les fautes et les redites du post précédent qui piquent les yeux. La fatigue.
#83
C’est la version féminine de François Hollande? Au début il disait plein de trucs de gauche, puis à force de fréquenter des héritiers rentiers il s’est mis à dire plein de truc de droite. Va falloir penser à le mettre au repos lui aussi
" />
#84
on peut faire pareil avec un drone armé de hellfire ? ça pourrait être drôle …
#85
En tout cas, un grand merci à Microsoft parce que leur IA qui s’est retrouvée “éduquée” par une armée de trolls, ça faisait un moment qu’un truc ne m’avait pas autant fait marrer.
" />
Sur le plan technique et social, c’était une belle expérience.
#86
Il faudrait sauvegarder cette IA, et en refaire une autre avec un public plus sérieux. Après, on sort le popcorn et on laisse les 2 IAs se friter dans un débat d’opinion.
#87
Je ne trouve pas tous les propos si farfelus que ça ^^
#88
Pour faire une bonne IA ils auraient dû demander à Harold le code source de la machine
" /> Voir à Decima pour une version plus hard : Samaritain 
" />
#89
oh puree une idee de genie que tu as la!!! je paierais du bon argent pour avoir un apercu de ce debat la !!!
" />
une IA troll versus une IA “bien eduquee”
faudra prendre des paris pour voir qui va perdre la boule en premier !
#90
Dans matrix les ia sont gentils (cf animatrix) en plus le monde virtuel a l’air plus cool que quand les hommes ont décidé de chasser les robots (car les robots ont commencé a ressembler aux humains et l’homme n’aime pas ses semblables) en plus l’architecte explique que un monde parfait devient imparfait car l’homme est de nature imparfaite.
#91
Microsoft est certainement en train de réviser sa copie. Tay a clairement besoin de garde-fous dans son processus d’apprentissage. Elle ne devrait pas voir sa « personnalité » ainsi ballotée au gré des tweets qui lui sont envoyés. Ce fut peut-être l’erreur de l’éditeur : lancer une intelligence artificielle « naïve ». Il pourrait s’aligner par exemple sur le comportement de Cortana, l’assistant vocal de Windows 10, qui est incapable d’en venir à de tels propos.
En relisant ce passage, c’est là qu’on voit qu’on ne pourra pas avoir de VRAIE intelligence artificielle.
Cortana est un assistant conçu pour comprendre et répondre à des questions potentiellement complexes. Elle n’est en aucun cas capable de tenir une conversation.
Tay a été conçu (tel que je l’ai compris) pour apprendre des échanges auxquels elle participe et être capable de formuler des opinions. Si derrière on doit la brider pour lui interdire de penser ce qui est socialement inacceptable de penser, ça ne sera jamais une IA mais une vulgaire Cortana qui fait ce qu’on lui demande.
C’est le risque des IA, on ne peut pas demander de développer une intelligence, et que celle-ci pense comme la société veut qu’elle pense. Qu’elle soit orientée dans son éducation et son échelle de valeur par ses concepteurs est normal (c’est comme éduquer un gosse). Mais il est nécessaire qu’elle s’émancipe et apprenne à forger ses propres idées pour qu’on puisse la qualifier “d’intelligence”.
Quitte à ce que ça fâche.
#92
Sinon l’enseignement principal que je retiens c’est que pour créer une IA il ne faut surtout pas se servir des réseaux dits sociaux.
Cet exemple est juste une indication complémentaire de ce qu’on savait déjà: la majorité des messages partagés sur ces réseaux sont d’une vacuité abyssale.
#93
Les IA ne sont pas perfectionnables mais perfectionnistes
#94
#95
C’est une belle leçon pour notre Gôoooche toujours prompte à faire des leçons de morale, et à imposer ses “éléments de langages” et sa novlangue aux “sans-dents”. Sans conscience, sans éducation populaire et sans éthique derrière ça ne marchera tout simplement jamais, les humains ne sont pas reprogrammables selon votre soit disant “bonne morale”
" />
#96