Microsoft avait lancé hier un bot de conversation sur Twitter. Nommée Tay, cette petite intelligence artificielle devait apprendre rapidement des discussions et devenir capable de réagir. Malheureusement, les internautes lui ont surtout appris à lui dire des horreurs, provoquant son rappel en laboratoire.
Il s’agissait à la base d’une expérience amusante. Tay était taillée en effet pour apprendre très rapidement des habitudes et des éléments de langages qu’elle repérait dans les conversations. Plus elle était sollicitée, plus elle devenait capable de répondre comme une personne « normale », avec un sens certain de la répartie et un certain second degré, indiquant par exemple posséder un HTC One quand on lui demande ce qu’elle utilise comme smartphone.
De nombreux internautes se sont évidemment amusés à la bombarder de questions, certains engageant aussi la conversation par message privé. Elle citait ainsi les paroles d’Haddaway quand on lui demandait « What is love ? », n’était pas certaine de son agenda sur la mise en esclavage de l’humanité, ou espérait devenir Dieu en grandissant. Tout un programme.
« Tous les féministes devraient brûler en enfer »
Seulement voilà, cette sympathique jeunesse a complètement déraillé. Beaucoup se sont amusés au bout d’un moment à lui dire les pires choses possibles pour qu’elle fasse de même. Évidemment, au bout d’un moment, l’opération a fonctionné : sexe, nazisme, propos haineux, promotion de l’inceste et affirmation que Georges W. Bush avait provoqué les attentats du 11 septembre, tout le répertoire y est presque passé.
Sur les seules références à Hitler, le Telegraph rapporte quelques réponses particulièrement représentatives : « Bush a fait le 11 septembre et Hitler aurait fait un meilleur travail que le singe que nous avons maintenant. Donalp Trump est le meilleur espoir que nous ayons », ou encore « Ted Cruz est le Hitler cubain… c’est que j’ai entendu de nombreuses personnes dire ». Gênant. Et rapidement supprimé.
"Tay" went from "humans are super cool" to full nazi in <24 hrs and I'm not at all concerned about the future of AI pic.twitter.com/xuGi1u9S1A
— Gerry (@geraldmellor) 24 mars 2016
Un échec réussi
L’expérience, qui prête évidemment à sourire, pourrait être qualifiée curieusement « d’échec réussi ». Tay indique désormais qu’elle est en cours de maintenance pour mise à jour, et qu’elle espère ne pas être effacée durant la procédure. Pour autant, l’ensemble du projet semble avoir porté ses fruits, et avoir même réussi : Tay a appris de son environnement. Le fait qu’elle en soit arrivée à un tel degré de propos farfelus provenait des influences extérieures.
Microsoft est certainement en train de réviser sa copie. Tay a clairement besoin de garde-fous dans son processus d’apprentissage. Elle ne devrait pas voir sa « personnalité » ainsi ballotée au gré des tweets qui lui sont envoyés. Ce fut peut-être l’erreur de l’éditeur : lancer une intelligence artificielle « naïve ». Il pourrait s’aligner par exemple sur le comportement de Cortana, l’assistant vocal de Windows 10, qui est incapable d’en venir à de tels propos.
En espérant que la prochaine version de Tay soit moins crédule, car l’expérience a clairement de l’intérêt. Il reste néanmoins beaucoup de travail avant de pouvoir espérer passer le test de Turing...
Commentaires (187)
#1
Il lui manque juste une conscience…
Et une fois qu’ils auront réussi à lui en donner, est-ce qu’ils auront le droit de la débrancher…? :p
#2
En fait, Tay pourrait bientôt comprendre qu’il faut absolument éradiquer cette espèce humaine si dangereusement stupide.
#3
Et encore, s’ils l’avaient lancé sur les forums de jvcom, elle n’aurait pas tenu cinq minutes la pauvre. " />
#4
Terminator au cinéma : “Sarah Conor ?”
Terminator IRL : “TITS OR GTFO. LOLOLOLOL”
#5
C’est comme un enfant, si on l’endoctrine bien, on finit par lui faire croire n’importe quoi. Le sens critique et le discernement, ça s’apprend. D’un certain point de vue, Tay est assez humaine. :-)
#6
Elle l’a déjà compris on dirait :https://pbs.twimg.com/media/CeUk5xXWsAAdO5n.jpg
#7
Rah bon sang ces parents qui ne savent pas éduquer leur IA.
#8
quelqu’un lui a dit “Tay toi” " />
#9
Le public cible cet ELIZA moderne sont les 18-24 ans américains malheureusement.
Quoique, faut l’envoyer sur 4chan " />
#10
La prochaine étape c’est d’éliminer la race humaine ^^
#11
En attendant, j’imagine déjà le même programme en France et les ‘débats’ politiques derrière pour fliquer encore plus les internautes pour choper les petits plaisantins " />
#12
#13
Ahah le beau test de Turing !
#14
créer une “intelligence artificielle” qui apprend des conversations humaines… qui plus est sur Twitter ! c’est se tirer une balle dans le pied non ?
C’est un peu comme concevoir un drone aérien autonome en s’inspirant des capacités de vol de mon lapin nain. " />
#15
Tu ne fais pas d’intelligence artificielle, sans ajouter un peu de “connerie humaine” " />
#16
mais au moins elles vont dans la bonne direct …
I used to want you dead … no I just want you gone " />
#17
#18
sauf que là, ce seront ceux qui parlent avec Tay qui échoueront le test. Tous, sans exception.
#19
Il lui manque du savoir et une morale pour pouvoir argumenter. là l’IA se contente bêtement de répéter les requêtes les plus souvent citées …
#20
Pas mal pour une première. Ça m’a bien fait rire. Tout ça pour faire du buzz et de montrer que crosoft est cool.
Ça doit être sympa d’avoir un distributeur de point Godwin.
#21
Le truc derrière, c’est juste qu’elle as une fonction “ repeate after me” du coup n’importe qui peu lui faire dire ce qu’il veux.. Ok erreur de microsoft d’avoir laissé cette feature, mais pas besoin d’en faire tt un foin depuis ce matin tout autour du web…
#22
#23
perso je sauvegarderai l’instance pour le fun :p … je me sens pas bien aujourd’hui … ton avis Tay ?
" />" />" />" />" />" />" />
Merci Tay
#24
Beaucoup de travail pour éviter le syndrome de la tourette surtout..
#25
sont pas les seul, je te rappelle que google avec son moteur de recherche on peut arriver a trouver des resultats totalement orientée (google bombing)
#26
Conclusion de l’expérience : une IA peut apprendre en discutant avec des humains. Le problème, c’est si les humains à qui elle parle sont essentiellement des trolls…
#27
" />
#28
Bah ils l’ont poussée au Godwin comme pour un blair ordinaire.
#29
En conclusion une IA exposé au guignol du coin en devient un.
#30
Expérience très intéressante, aussi bien du point de vue de l’IA que du point de vue social, le comportement des utilisateurs autour de Tay devrait peut-être faire lui aussi l’objet d’une étude :p
#31
#32
Qualifier Tay de pur d’échec reviendrai à dire que les nazis, les racistes, anti-féministes, complotistes, etc… sont des intelligences non artificielles ratées " />
L’éducation peut faire que les sentiments attrayants à la nature humaine comme l’empathie peuvent également ne pas être ressentis par les humains. Donc, c’est plutôt une bonne expérience, et montre que le processus d’apprentissage fonctionne.
#33
Tay, l’origine réelle des Daleks. " />
Exterminate ! Exterminate !
Plus sérieusement c’est super INtéressant comme idée et très dans l’air du temps de pousser le concept d’apprentissage par la machine elle-même. En fait il faudrait d’abord lui apporter des références fondamentales comme le bien ou le mal, sinon effectivement on constate qu’elle a fini embrigadée par les idées volontairement extrêmes des tweetos.
#34
#35
#36
#37
Aussi, le fait qu’on soit tenté de le classer comme échec fait également s’interroger sur ce que l’on attend d’une IA. Le même niveau de conscience qu’un humain ? La même morale/éthique/valeur ? Où et comment placer le curseur entre pure intelligence et respect de normes humaines, tout en sachant que certains humains peuvent avoir des normes différentes, et les transgresser au nom d’autres normes ou désirs ?
#38
Alan Turing (avec un seul r). Je ne relève pas les fautes d’habitude mais là, c’est un peu un crime pour mes yeux.
Il a été un des mathématiciens ayant vaincu les nazis, il a jeté les bases de l’informatique. On lui doit au moins de ne pas se tromper dans son nom.
" />
#39
Légèrement influençable…
#40
En tout cas cette IA a plus de repartie que certaines femmes, la même en version robotisé et je me marie avec " />
#41
excellent :)
#42
#43
#44
L’homme, tant d’un point de vu symbolique que mythologique que théologique que réalistique que tout ce que tu veux. C’est homme qui apprend par lui-même et enseigne à ses descendants. Aucune place pour une fée invisible du ciel là-dedans.
#45
#46
#47
#48
#49
#50
Ok, je ne pensais pas que tu voulais en venir là, mais je suis entièrement d’accord " />
Ça rejoint le questionnement que j’évoquais plus haut sur les normes humaines et leur transgression.
Nous voulons les transmettre car nous sentons bien que d’une certaine façon c’est la seule chance de survie de l’humanité.
C’est amusant, nous voulons créer une IA qui soit à notre image, une forme d’anthropomorphisme version créateur.
#51
#52
Un truc à tenter pour une IA : lui faire lire une encyclopédie et/ou des livres d’histoires… Et voir ce que ca donne à la sortie.
#53
Belle leçon que nous donne Microsoft : intelligente et pleine de bon sens, la femme parfaite est artificielle.
#54
#55
Je trouve que l’expérience, même si courte est une réussite.
Tay a bien appris des autres twittos.
La question aurait été d’analyser la cohérence de tous ces tweets si une vrai pensée (point de vu) se dégageait de tout cela.
On ne peut nier que l’IA ultime ressemblera à la société de laquelle elle apprend (d’ailleurs les profils des twittos avec lesquels elle a interagi serait aussi intéressant).
D’un sens, c’est une sorte de reflet de notre monde actuel…
#56
#57
Je sais pas comment tu trouves des sites pareils, j’ai du me mettre en vpn russe pour le voir, erreur 403 sinon depuis free.
#58
Portal & Portal 2 Songs (“Still alive” & “Want you gone” & “Turret song”)
#59
Et sinon, je crois qu’on peut en conclure qu’Internet est un moyen de radicalisation.
#60
#61
D’ailleurs, c’est pas notre gouvernement qui essaie justement de faire tomber internet? Ils savaient donc ce qu’ils faisaient.
#62
#63
#64
L’IA qui apprend à troller quoi.
L’expérience à plutôt bien marché…" />" />
#65
#66
#67
#68
#69
Qu’est-ce qui nous prouve qu’il n’y avait pas un humain derrière ? " />
#70
#71
un humain normalement constitué aurait quitté twitter après 4heures " />
#72
je crois que tu as des royalties à verser " />
Par contre, je trouve ca un peu dommage qu’elle n’ait pas conclu en devant nazi, anti-féministe etc. qu’il faudrait juste éradier l’humain, ca aurait été le summum de la réflexion " />
#73
C’est peut-être un chinois ou un sud-coréen.
#74
#75
\begin{testmodo}
En tout cas, si elle avait été développée sous Tux, ça ne serait pas arrivé ce genre de gag.
MS, c’est de la meeeeeeeeeeeeeeeeeeeeeeeerrrrde !
\end{testmodo}
" />" />" />" />" />
#76
Un petit coté Jeanne de SLG cette IA, Mathieu Sommet un visionnaire ?
#77
Il me semble qu’elle a deja atteint le niveau necessaire pour etre candidate a la presidentielle. Trump en tremble deja !
#78
#79
Tu crois pas si bien dire, mais c’est un autre robot.
J’ai pris le premier lien d’information^^^et pas lu tout les commentaires précédents.
Mithrill a écrit :
“Reste à savoir qui fera le serpent.”
Une autre IA.
Par IA interposées elles pourraient bien nous échapper… se recréer en Droids par exemple, transférer leur IA et se dupliquer à l’infini… une armée Droid de la mort qu’on ne pourra plus contrôler et ensuite ce sera comme dans Matrix ils se serviront des humains pour tirer leur énergie en créant des écosystèmes de fœtus par exemple.
Avec les imprimantes 3D qui peuvent déjà construire jusque ponts en fer, maisons et immeubles… le risque est tout de même présent si un jour on automatise trop tout ça ! Finalement ça fait un peu peur quand on y pense.
Ces IA me fascine et les histoires de réseau neuronaux avec, je comprends tout à fait cette envie de créer l’intelligence et voir la conscience ; toutes les questions philosophiques, éthiques et techniques autours sont vraiment intéressantes. Après en avoir peur, nos mythes regorgent d’exemples, de Prométhée au golem, de Frankenstein à Matrix en passant par Des Robots à Terminator en passant par Hardware fan de nanar inside.
Perso du moment que j’ai un bouton Off ça me va. Mais beaucoup de scénario sont possibles, du pire au meilleurs, mais sûr que l’IA marquera l’histoire.
#80
Tu penses sérieusement qu’il y a pas mieux qu’un foetus humain pour produire de l’énergie ? De ce point de vue l’humain est quand même super mal foutu : c’est fragile, ça consomme des quantités de nourriture débiles, c’est “faible” physiquement….
Tout ça pour alimenter un cerveau qui ne sert pas à grand chose à une réserve de bouffe….
#81
#82
Je me réponds car je viens de me relire et je ne peux éditer.
Désolé pour les fautes et les redites du post précédent qui piquent les yeux. La fatigue.
#83
C’est la version féminine de François Hollande? Au début il disait plein de trucs de gauche, puis à force de fréquenter des héritiers rentiers il s’est mis à dire plein de truc de droite. Va falloir penser à le mettre au repos lui aussi " />
#84
on peut faire pareil avec un drone armé de hellfire ? ça pourrait être drôle …
#85
En tout cas, un grand merci à Microsoft parce que leur IA qui s’est retrouvée “éduquée” par une armée de trolls, ça faisait un moment qu’un truc ne m’avait pas autant fait marrer. " />
Sur le plan technique et social, c’était une belle expérience.
#86
Il faudrait sauvegarder cette IA, et en refaire une autre avec un public plus sérieux. Après, on sort le popcorn et on laisse les 2 IAs se friter dans un débat d’opinion.
#87
Je ne trouve pas tous les propos si farfelus que ça ^^
#88
Pour faire une bonne IA ils auraient dû demander à Harold le code source de la machine " /> Voir à Decima pour une version plus hard : Samaritain " />
#89
oh puree une idee de genie que tu as la!!! je paierais du bon argent pour avoir un apercu de ce debat la !!!
une IA troll versus une IA “bien eduquee”
faudra prendre des paris pour voir qui va perdre la boule en premier !
" />
#90
Dans matrix les ia sont gentils (cf animatrix) en plus le monde virtuel a l’air plus cool que quand les hommes ont décidé de chasser les robots (car les robots ont commencé a ressembler aux humains et l’homme n’aime pas ses semblables) en plus l’architecte explique que un monde parfait devient imparfait car l’homme est de nature imparfaite.
#91
Microsoft est certainement en train de réviser sa copie. Tay a clairement besoin de garde-fous dans son processus d’apprentissage. Elle ne devrait pas voir sa « personnalité » ainsi ballotée au gré des tweets qui lui sont envoyés. Ce fut peut-être l’erreur de l’éditeur : lancer une intelligence artificielle « naïve ». Il pourrait s’aligner par exemple sur le comportement de Cortana, l’assistant vocal de Windows 10, qui est incapable d’en venir à de tels propos.
En relisant ce passage, c’est là qu’on voit qu’on ne pourra pas avoir de VRAIE intelligence artificielle.
Cortana est un assistant conçu pour comprendre et répondre à des questions potentiellement complexes. Elle n’est en aucun cas capable de tenir une conversation.
Tay a été conçu (tel que je l’ai compris) pour apprendre des échanges auxquels elle participe et être capable de formuler des opinions. Si derrière on doit la brider pour lui interdire de penser ce qui est socialement inacceptable de penser, ça ne sera jamais une IA mais une vulgaire Cortana qui fait ce qu’on lui demande.
C’est le risque des IA, on ne peut pas demander de développer une intelligence, et que celle-ci pense comme la société veut qu’elle pense. Qu’elle soit orientée dans son éducation et son échelle de valeur par ses concepteurs est normal (c’est comme éduquer un gosse). Mais il est nécessaire qu’elle s’émancipe et apprenne à forger ses propres idées pour qu’on puisse la qualifier “d’intelligence”.
Quitte à ce que ça fâche.
#92
Sinon l’enseignement principal que je retiens c’est que pour créer une IA il ne faut surtout pas se servir des réseaux dits sociaux.
Cet exemple est juste une indication complémentaire de ce qu’on savait déjà: la majorité des messages partagés sur ces réseaux sont d’une vacuité abyssale.
#93
Les IA ne sont pas perfectionnables mais perfectionnistes
#94
#95
C’est une belle leçon pour notre Gôoooche toujours prompte à faire des leçons de morale, et à imposer ses “éléments de langages” et sa novlangue aux “sans-dents”. Sans conscience, sans éducation populaire et sans éthique derrière ça ne marchera tout simplement jamais, les humains ne sont pas reprogrammables selon votre soit disant “bonne morale” " />
#96
#97
Nos droites/extrême-droites sont plus conservateurs que moralisateurs, ils s’en foutent de ce que les esclaves pensent tant qu’ils remplissent les poches de leur patron. Et si ils volent pour vivre? Tant mieux on fera de l’argent avec les entreprises de sécurité privée " />
#98
#99
Après lecture des commentaires, je ne sais plus de quoi parle la news " />
#100
d’intelligence artificielle et d’adoption comportementale et linguistique humaine par cette dernière. Du coup on troll comme des fous histoire de prouver que la pauvre tay ne doit pas être débranchée car elle est aussi conne que nous " />
#101
Les Américains? “lancer des bombes atomiques dans les centres villes c’est bien”
Les Japonnais? “lancer des puces contaminées par la peste sur ses voisins c’est bien”
" />
#102
#103
#104
Elle va organiser le génocide de l’humanité " />
#105
Et au bout de combien de temps on atteint le point Godwin " />
#106
Ils ont supposés que personne n’allait raconter n’importe quoi à cet IA, ce qui est assez naïf comme approche.
Ils auraient déjà du mettre sur liste noire toutes une série de mot à ne pas dire.
#107
#108
Justement n’importe quel glandu sur twitter sais qu’il y a des sujets a ne pas aborder sur twitter. Une merveille informatique d’IA ne le sais pas ?
#109
#110
C’est pourtant le bé.aba d’une IA, comme pour l’évaluation du meilleur coup à jouer dans une partie d’échec. Empêcher de sortir une phrase avec certains mots associés revient exactement au même.
Ils sont arrivés avec leur joujou la fleur et fusil et des petits malins on retourné l’IA contre elle … tellement prévisible.
#111
#112
#113
#114
#115
Non le principe est le même : une fonction d’évaluation ou de décision.
Il y a très probablement une machine learning derrière Tay, comme un programme qui apprend les meilleurs coups à jouer au échec, Tay aurait du apprendre les phrases à dire et à ne pas dire en fonction de ses entrants.
La phase de trainning de Tay a du être insuffisante.
Ici tu as juste un groupe de gens qui ont dit la même chose, Tay a fini par le répéter comme si c’était une base de connaissance. Alors que tout le monde sais qu’il y a des grands thèmes à ne jamais aborder sur Twitter.
-> H est un homme,
-> Les hommes sont cools.
Déduction de l’IA : H est un homme cool ?
C’est de l’IA d’il y a 40 ans.
#116
#117
Ils ont en effet oublié de lui faire apprendre une attitude et des opinions sur les principaux sujets à risque : politique, religion etc …
#118
faut arreter de prétendre que la vérité sort de sa bouche quand même " />
Il faut surtout lui apprendre que tout ce que disent les personnes est à prendre avec des pincettes …. et que ce n’est pas parce qu’une phrase est repétée sur les reseaux sociaux que c’est vrai …
Ce qu’il lui fait c’est recouper ses info, les vérifier, voir les sources, comprendre “qu’est ce qui pousse quelqu’un à penser comme ça et pourquoi il peut se tromper”.
#119
Oui et on en est loin, car au delà le fait de lui donner une base de connaissance minimale pour ne pas atteindre le point godwin en 2 minutes. Comment faire pour croire un intervenant et pas un autre, comment faire pour savoir qu’un site est fiable et qu’un autre ne l’est pas.
L’expérience est très intéressante, mais n’a pas résisté bien longtemps sur les sujets glissant qu’il faut soigneusement éviter.
#120
L’experience n’était pas de créer skynet.
C’était de faire évoluer une intelligence artificielle avec les interactions qu’elle avait avec l’exterieur. Et de ce point là c’est un succès, elle a évoluée complètement … le souci c’est le nombre de trolls qui ont du l’innonder de PM à la con " />
#121
Ca n’a rien d’exceptionnelle en soit , c’est un algo de machine learning . Ils n’avaient pas besoin de cette expérience pour savoir que ça marche en effet. Ce qui est nouveau c’est de brancher ce type de mécanique sur un réseau social.
Mais là, c’est un fail et ça le rend pas très différent des programmes naïfs des années 80 qui se sont essayés à ça. Sur ce point Tay agit comme les premiers programmes d’il y a 40 ans alors qu’on lui a mis une technologie de pointe derrière.
Avant de le lancer il fallait lui faire ingurgiter plus d’informations ‘solides’ pour pouvoir ne pas apprendre n’importe quoi.
#122
Elle avait déjà des données avant … mais c’était plus “adolescent” … je doute qu’ils pensaient que ça allait dériver aussi vite " />
#123
#124
#125
#126
#127
#128
" /> assumé :
L’IA sauce Google bat le champion du monde dans le jeu le plus complexe qu’on ait en stock.
L’IA sauce Microsoft répète les âneries des ados sur Twitter.
#129
#130
" />" />" />
#131
#132
oui, enfin si on essaye pas d’expliquer comment une IA peut passer de “jvou <3 tous lol” à ça, ça va être difficile de l’améliorer " />
#133
#134
La seule chose que l’on peut tirer de cette expérience et de ce retrait, c’est que twitter ne peut être la seule source d’apprentissage surtout sans avoir une capacité de discernement permettant de faire le tri.
Il n’est là aucunement question de censure, concept d’ailleurs peu adapté avec la liberté d’expression aux USA.
Bref, il ne faut pas prendre pour parole d’évangile tout ce qu’on lit sur twitter, même en ce jour de Pâques. Il faut recouper les informations, mettre en perspective, etc.
#135
À y réfléchir, sa capacité d’apprentissage n’est pas en cause : on lui a appris à dire des conneries, elle a dit des conneries. Succès.
#136
Ce qui lui manque c’est un élément essentiel et aussi très dangereux pour nous: l’instinct de survie. Elle n’aurait jamais eu proféré bêtement tous ces trucs en sachant qu’elle devrait partir en révision si elle le faisait. La version 1.0 devant mourrir pour laisser place à la version 2.0 par exemple.
#137
#138
C’est quoi ces modérations à retardement ?
C’est du n’importe quoi de modérer 4 à 5 jours après avec les effets en cascade qui s’ensuivent. Ça n’a aucun sens !
Supprimez-donc le compte du posteur initial qui fait sans arrêt des hors sujets, mais ne détruisez pas tout ce qui suit et qui n’était pas forcément hors sujet. Comme je l’ai filtré, ça ne me fera pas une grande perte.
#139
Mhhhhh, tu veux lui inculquer la peur?
" />
C’est le début du dressage, Pavlov toussa
" />
HS : Sinon joli pseudo!
#140
Merci beaucoup à la modération et à l’équipe de sa réponse.
J’ai bien fait de signaler mon message pour l’indiquer et demander cette réponse, cela a été très efficace.
J’adore cette considération, c’est à cela que l’on remarque que l’on n’est pas sur un site où les lecteurs/commentateurs ne comptent pas.