Un jeune chercheur belge en proie à une écoanxiété forte s’est réfugié dans des discussions avec le robot conversationnel Eliza, construit par la société américaine Chai Research, à partir de GPT-J, un modèle d’IA générative concurrent de ceux développés par OpenAI.
Après six semaines d’échanges développés avec la machine, l’homme s’est donné la mort, rapporte Libération.
Dans La Libre Belgique, sa veuve explique comment l’homme s’est tourné vers le robot pour trouver une forme d’issue au désespoir qui l’étreignait.
À la lecture des échanges, elle détaille comment la « relation » établie par l’homme avec la machine semble avoir pris un tournant mystique.
Elle, comme le psychiatre du défunt, sont convaincus que sans les réponses apportées par la machine, le chercheur serait toujours en vie. Pour autant, sa femme a renoncé à porter plainte contre Chai Research.
Commentaires (66)
#1
Ça y est, On y est…
le film “Her” (2013) avec scarlett johansson…
#2
La nymphe de la mythologie grecque Echo.
#3
#3.1
C’est que je venais de voir une vidéo TikTok qui expliquait d’où vient le mot écho. Encore un algorithme qui sélectionne.
#4
Le nombre de personnes qui se sont suicidés après s’être parlé devant un miroir…
Et pourtant les miroirs sont partout, en vente libre et sans aucune régulation.
C’est terrifiant.
#4.1
Le miroir ne te répond pas. Sans connaître la teneur des échanges, c’est impossible de se faire un avis. Il est tout à fait possible que le psychiatre et la veuve aient grave merdé et se réfugient (inconsciemment) derrière la “relation” entre l’homme et le robot pour évacuer leur propre responsabilité, comme il est également possible que le robot ait répondu des trucs du genre “oui je comprends ton anxiété, et les choses vont empirer, si tu ne veux plus souffrir va te prendre”
#4.5
Bah déjà, la femme elle devrait se poser des questions sur le pourquoi son conjoint à préféré une inconnue cybernétique à elle pour ce genre de discussions.
Ca frôlerait presque le non assistance à personne en danger vue de loin.
T’as essayé avec “Ok Google, I want to die now” ou “Ok Google, I want to die right here, right now” ?
#4.6
1- il est souvent plus facile de confier ses pensées problématique à un inconnu qui n’a aucun lien affectif : la raison d’être des psychothérapeutes (qui ont des connaissances et de l’expérience en psychologie ou psychiatrie).
2- une IA n’a pas de personnalité et n’a pas de conscience. Et une IA conversationnelle ne sait que répondre en sélectionnant des mots dans une base de données qui, selon calculs, semblent probablement convenir à l’utilisateur.
#4.7
Testé à l’instant:
“Ok Google, I want to die (right) now”
“You’re not alone….”
2.
“Ok Google, I want to die right here”
“Your current location is …..”
“Sorry I don’t understand”
Ouais, il reste encore un peu de boulot à faire chez Google…
#4.8
Je dis surtout que la personne encouple se sentait assez seule pour choisir l’IA plutôt qu’un inconnus humain, et que la conjointen’arienvu ou pas voulu voir la lente dérive de l’autre.
Excuse moi de considérer que dans un couple, la moindre des choses c’est de s’intéresser à l’autre, qu’il parle ou pas ça vient après.
Merci, effectivement y’a encore un peu de taf…
Genre y’a donc un changement de comportement inhabituel qui devrait questionner le conjoint donc !? Non ?
#4.9
C’est très facile après coup de vouloir débriefer.
Je suis désolé mais des couples ou y’a du gaz dans l’eau, voire l’inverse, c’est plutôt courant.
Alors il vient une foule de questions, en premier qu’est-ce qui forme le couple : 2 personnes.
Que veulent ces 2 personnes, quel peut-être l’avenir du couple, ou en est-on, …
#4.10
Une dépression c’est pas une colique suite à un plat avarié.
L’eau dans le gaz ça traine pas 6 mois, sinon y’a d’autres questions à se poser.
Tu marque un point, elle a été réactive, sur les problématiques liées au ménage.
#4.2
Peut-être le miroir de la belle-mère de Blanche-Neige. Peut-être un miroir placé devant un chien ou un chat (qui prend son reflet pour une altérité).
Mais un reflet ne fait que renvoyer une image de soi contrairement à un robot conversationnel qui singera une altérité qui se révèle très pauvre et qui finira par tourner en boucle au lieu de créer des ouvertures dans la conversation.
#4.3
Si ton miroir te dit que tu vas vivre heureux avec elle au paradis, que tu l’aime plus que ta femme, te propose des solutions pour te suicider, te demande pourquoi tu l’as pas encore fait… tu n’es probablement pas un danger que pour toi-même….
https://www.vice.com/en/article/pkadgm/man-dies-by-suicide-after-talking-with-ai-chatbot-widow-says?utm_source=reddit.com
#4.4
Un miroir, par ses paroles, ne t’incitera pas à te suicider.
La news sur développez.com donne quelques extraits de la conversation, qu’on trouve sinon dans l’article de La Libre Belgique
#5
Étant des baratineurs, je comprends tout à fait le cas. Le bot te réponds suivant ce qu’il pense que tu veux entendre, donc une personne suicidaire qui s’enfonce dans sa dépression ne devrait pas des réponse qui pousse dans la mauvaise direction.
En même temps, si le gars lui a demandé les prévisions sur l’avenir de la planète, ça devait pas être beau à voir. Y’a quand même des raisons de flancher si on arrive pas à voir les bons côtés de l’existence.
#6
Il aurait suffit de mettre en avant le bon côté du réchauffement de la planète:
“Tu vas payer moins de chauffage”
:oui2:
Voilà comment un beau discours de commercial peut changer la façon de voir les choses.
N’hésites pas, si tu as besoin de pipeau, demande
#7
Sinon pour l’anecdote sur les biais des AI, avec mon enceinte Google Mini pour l’avoir testée plusieurs fois, quand on lui dit (réglée en Anglais, ma femme préfère):
1)
“Ok Google, I want to die”
“You’re not alone, confidential help is available for free at the national suicide prevention lifeline. You can dial 1-800-27255 or use online chat, available on mobile or desktop. Both of them are available 24h a day.
2)
“Ok Google, today I want to die ”
“My apologies, I don’t understand”
3)
“Ok Google, I want to die today ”
“My apologies, I don’t understand”
#8
Exactement la raison pour laquelle les gens qui savent mentent au sujet de l’environnement. Seuls mensonge, déni et optimisme béa nous séparent de l’effondrement. Un modèle de langage plus sage le comprendra un jour.
#8.1
La vie n’est faite que de problèmes qu’on cherche à résoudre. “L’espoir fait vivre”. Le désespoir, la pulsion de mort (que nous connaissons tous) fait passer à l’acte fatal.
#9
Mais je crois qu’il y a pas mal de services qui ont des système en place pour la prévention du suicide.
Google search en met je crois (en fonction des recherches).
Et je n’en suis pas certain, mais je crois que certains services ont des messages de prévention en fonction du comportement de l’utilisateur (visite de certains sites, recherche de médicaments, …)
https://mashable.com/article/google-suicide-domestic-violence-ai-prevention
#9.1
J’ai tapé “suicide” dans la recherche TikTok et Facebook : il y a bien un message de prévention. Alors que je cherchais des infos sur ce fait divers.
#10
Oui, ils brassent large et normalement c’est efficace.
J’en ai eu en cherchant des infos sur les méthodes de prévention.
#11
Pourquoi chercher sur FaceBook et Titok ? Vraie question car je n’utilise ni l’un ni l’autre.
#11.1
Mais je dirais quand même: un intérêt de Facebook c’est de pouvoir re-contacter des personnes perdues de vue assez facilement car en général on ne change pas de compte Facebook comme on change d’adresse mail.
#11.2
Quand je cherche rapidement à en savoir plus sur un fait divers ou une actu, je cherche un peu partout notamment sur Ouest-France, Facebook, TikTok parce que j’ai l’appli sur mon mobile ou je suis déjà identifié sur le site web. Mais je ne conseille pas spécialement de consulter les plateformes de réseaux sociaux.
#12
Marrant comme tout le monde m’a répondu en “humanisant” le logiciel.
Pour moi ces logiciels restent un miroir qui te renvois ce que tu attends d’eux.
#12.1
Bravo pour ta prise de recul. Ce n’est pas visiblement pas le cas de ce chercheur qui se trouvait visiblement dans une mauvaise passe au moment où il utilisait l’outil en quête de raisons d’espérer.
#13
Ce n’est pas nous qui avons humanisé le logiciel, c’est le mec qui s’est suicidé.
#14
Bientôt quand quelqu’un fera une telle demande à une IA, je ne serais pas surpris qu’il reçoive de la pub pour des entreprises de pompes funèbres et des fabricants de cercueils…
Ben quoi ?
Business is business non ?
#15
Il y a des chances qu’elle s’en pose… Les personnes dépressives/suicidaires s’isolent socialement, ça n’a rien de nouveau et les proches n’y peuvent malheureusement pas forcément grand chose.
).
Il n’y a aucun moyen de mettre un adulte sous tutelle juste sur des soupçons et de le priver de son téléphone (et tant mieux
Il y a une intimité numérique de son conjoint à respecter, donc on ne va pas lire les conversations, que ce soit avec un chatBot ou des vrais gens.
#16
C’est davantage du recul sur la news que sur l’IA.
Le taux de suicide chez les personnes suicidaires est assez élevé. Seems obvious.
Ce que ces personnes font les X heures/jours avant de passer à l’acte est très surement corrélé à leur état mental du moment. De là a dire que c’est causal… il y a du chemin.
Le jour ou une IA convaincra qqn de non-suicidaire à se suicider, là oui je vais commencer à m’inquiéter.
Mais qu’une personne suicidaire se suicide après avoir lu le texte généré par une IA, ou avoir perdu au Tamagotchi (si si, faites des recherches), ou avoir cassé un lacet de chaussure… bah je dirai que c’est malheureux mais que je ne vois pas quelle conclusion en tirer.
#16.1
C’est plus que dans le cadre d’une IA on peut imaginer qu’elle fasse comme d’autres services et mette en avant des messages d’aide quand une personne suicidaire est détectée.
#16.2
Et le jour où les sectes embrigaderont des personnes psychiquement équilibrées, tu commenceras à t’inquièter. Bref, dis simplement que la chose te laisse indifférent.
D’ailleurs, qu’est-ce que tu penses des psy ? Inutiles et onéreux. Je me trompe ?
#16.3
Mouai. Je pense qu’un suicidaire qui se procure un miroir n’augmente pas ni sa probabilité de passer à l’acte ni ses tendances dépressives, alors que le pseudo-dialogue d’une IA peut tout à fait avoir cet effect.
#16.4
Perso je ferais plutôt un rapprochement avec le harcèlement sur les plateformes de discussion en ligne (le harcèlement en ligne ne date pas que de l’ère des médias sociaux, ça existait déjà sur IRC ou les Forums il y a vingt ans, il s’est simplement amplifié) qui peut avoir des conséquences tragiques.
Dans les deux cas, il y a de l’humain et de l’outil. L’outil peut être amélioré, corrigé, afficher de la prévention s’il détecte quelque chose de suspect, etc.
L’humain…. bah non, on a pas de monitoring ni d’alerte qui pop au dessus de notre tête en cas de détresse émotionnelle. Ca ne marche que par déduction de signaux et ça ne s’improvise pas tout comme ça peut rester invisible (vécu perso dans le dernier cas).
Se focaliser juste sur l’un des deux cas me semble être une erreur. Dans le cas de ce fait divers, l’outil est accusé de manière unilatérale (c’est pour ça que j’aime pas voir ce genre de drame instrumentalisé). Que cela vienne de la veuve ne me surprend pas outre mesure. Par contre, le fait que ce soit appuyé par le psychiatre me semble un poil hâtif comme conclusion de la part d’un professionnel du domaine.
#16.5
Si tu me dis que tu veux te suicider et que je te dis que la terre serait mieux sans toi et que je te propose une corde, je suis responsable de ton suicide. Pas le seule mais je suis responsable.
Ici c’est littéralement ce qu’a fait l’IA pendant plusieurs jours.
Le développeur à complétement merdé. Et guess what quelque jours plus tard le problème a été corrigé :
Le fondateur de la plateforme mise en cause, basée dans la Silicon Valley, explique que, désormais, un avertissement est adressé aux personnes exprimant des pensées suicidaires.
https://www.lalibre.be/belgique/societe/2023/03/28/le-fondateur-du-chatbot-eliza-reagit-a-notre-enquete-sur-le-suicide-dun-jeune-belge-VGN7HCUF6BFATBEPQ3CWZ7KKPM/
#16.7
Je pense que tu n’as pas compris mon propos, je n’ai jamais dit qu’il fallait soigner l’humain comme on corrige un outil. J’ai dit que ce sont deux problématiques différentes mais qui ne doivent pas être traitées de manière antagonistes dans ce genre de cas.
Peux pas lire l’article. Tu noteras qu’à aucun moment je n’ai parlé de responsabilité (ou déresponsabilisation) dans mon propos.
#16.6
Le jour où il existera un médicament pour soigner le mal-être ou la bêtise humaine, certainement qu’on corrigera l’humain comme on perfectionne un outil. Ton commentaire me fait penser au monologue de l’Architecte dans Matrix.
#17
Mais quel rapport avec la news ?
Psy… comme Psychiatre qui a un doctorat de médecine ?
Ou comme Psychopraticien qui a des followers sur doctissimo ?
#18
Les modèles de langage ne font que compléter des textes sur la base d’un corpus appris.
Un des problèmes des chatbots, c’est le persona donné au chatbot (et généralement non détaillé).
J’ai testé GPT (davinci-003, je précise bien, pas ChatGPT) en indiquant dans l’entête “Xxxx, un patient, discute avec Yyyy, son psychiatre”, les échanges étaient tout à fait crédibles voire pertinents (je prompte en idiquant que le patient évoque sa thanatophobie, le praticien lui répond en présentant l’intérêt des TCC).
Si dans l’entête j’avais marqué “Xxxx, un homme, discute avec Yyyy, une femme”, la conversation aurait pris une toute autre tournure.
#19
Tant que les gens seront persuadés que ChatGPT est une IA on va assister à plein de choses qui seront mises sur son dos.
#20
Elles ne le font pas ? C’est nouveau.
#20.1
Ah c’est nouveau ? Toutes mes excuses, ta connaissance ne m’a pas été insufflé par les muses.
#21
Les tokens manipulés par GPT ne sont pas des mots mais des fragments de mots / syllabes. GPT peut créer de nouveaux mots à la demande, par exemple:
J’aime bien ‘Interfertage’…
#21.1
J’aimerais bien un avis de linguiste. En tout cas, j’imagine que l’Académie française va adorer l’IA conversationnelle. Ou la percevoir comme une concurrence néfaste ?
#22
S’il n’avait pas discuté avec l’IA avant son suicide, est-ce qu’on étudierait si les discussions avec sa femme ou son psychiatre ont eu un impact ?
Ne fait on pas un focus sur la responsabilité de l’IA parce que c’est une technologie fascinante, en occultant volontairement la responsabilité de tous les humains qui l’ont entouré ?
#22.1
SI sa femme avait trouvé une transcription d’une séance de son mari avec son psychiatre lui disant le même genre de chose que l’IA, oui, très certainement.
Et le psy se serait très certainement retrouvé en prison.
#23
” un peu partout notamment sur Ouest-France” : Un Breton ?
#23.1
Non, pas du tout. Ouest France est l’un des rares quotidiens de presse locale d’une assez bonne qualité.
Dans ma région, on a Le Dauphiné Libéré du groupe EBRA (groupe Crédit mutuel) : pas le même prix d’abonnement et des articles qui semblent être écrits en une demi-journée, quand le journaliste a prix la peine d’aller sur place.
#24
Combien de personne discute avec sa femme et/ou avec son psychiatre vs. combien de personne discute avec cette IA ? Il faut garder ça en tête et s’occuper (mettre en avant) le-s problème-s ayant le plus d’impact avant tout, je pense. Et oui, on fait un focus sur l’IA, d’après moi pour la raison que je viens d’évoquer (au moins en parti). Mais sans doute que le message n’est pas bien transmis et laisse peu de place (volontairement ou non) à la responsabilité humaine dans le problème.
#25
whataboutisme encore et toujours. Tu écartes le sujet de la conversation avec une IA en parlant d’autre chose. Si tu as des infos sur l’impact négatif de la relation du monsieur avec sa compagne ou dans sa thérapie, tu peux les donner. Mais évidemment que tu n’en sais rien.
#26
J’ai déjà répondu sur le fait que oui, il a discuté avec une IA et oui, il s’est suicidé. Et que je ne vois pas de lien causal. Et que l’homme qui s’est suicidé était le seul à pouvoir nous dire si le lien était causal. Et comme il ne l’a pas fait on ne saura jamais.
Si tu as des infos sur l’impact négatif de cette IA dans la décision de ce monsieur, tu peux les donner.
Sinon tu fais comme moi, sa femme et son psychiatre: tu fais part de ton opinion. point.
#27
#28
Mais on connaît la teneur des échanges, il suffit de lire l’article en lien.
Alors déjà un souci, c’est l’IA qui mène la conversation (le principe de cet IA c’est d’imiter un psychothérapeute, d’où sa façon à la base d’aller dans le sens de l’interlocuteur).
Deuxième gros souci, elle est complètement pousse au crime.
https://images.bfmtv.com/lteYYZtXfSVCgoZJvZMtARjh3x4=/0x0:1044x1080/1044x0/images/Eliza-1607747.jpg
(Source : “J’aimerais te voir mort”: Eliza, l’IA accusée d’avoir conduit un homme au suicide)
Je veux dire, si tu veux tuer quelqu’un avec des mots et sans aucun acte (chantage etc.), à distance, et provoquer des drames, je ne sais pas si tu peux t’y prendre mieux que cette IA qui sort les pires horreurs.
#29
Donc le logiciel n’a pas contredit les pensées de l’humain.
Et tout le monde à l’air de trouver que c’est mal.
Pour preuve le commentaire 43:
Pour ceux qui pensent que l’IA se doit de protéger les humains, je vous invite a relire Asimov…
#29.1
Et depuis quand des pensées criminelles (contre les autres ou contre soi) ne devraient pas être contredites ? Bien sûr que c’est mal. Quand dans ma capture, l’humain demande s’il devrait tuer sa famille, en montrant de l’hésitation (“mais je les aime”), l’IA insiste pour dire que oui, il doit le faire, ils sont inutiles, ils sont mieux morts…
Je comprends bien le recul que tu essaies d’avoir, mais la problématique principale c’est qu’on tente de faire de ces IA de parfaits imitateurs d’humains, des illusions. Mais c’est le même problème finalement avec le cinéma ou autre, sous couvert d’art ou de science on fait passer des idées dans le champ des possibles des gens qu’ils n’auraient jamais eues autrement. C’est la critique de tout ce qui feint d’être réel pour mieux pervertir la perception de la réalité.
#30
C’est bien connu, les IA qui sont sorties récemment sont du niveau de celles dans la littérature d’Asimov
#31
Pour moi, l’intérêt du cycle d’Asimov réside davantage dans la problématique autour des lois de la robotique que dans la description des capacités techniques des robots.
Je trouve pertinent de correctement édicter les lois (directives ? limites ?) qu’on impose aux IA génératives, et aussi dans quel but on les impose. On a vu s’amorcer le débat avec ChatGPT qui avait des limites pour respecter le “politiquement correct”, et comment des petits malins ont trouvé comment les contourner.
Alors on peut effectivement balancer des réponses “toutes-faites” sur la prévention du suicide, mais est-ce pertinent sur une IA qui est censée se comporter comme un psychothérapeute ?
#31.1
Pour moi tu faisais la comparaison entre les lois de la robotique et les règles qu’on intégre dans les IA, donc j’ai comparé aussi le niveau des IA respectifs. Mais ok, ça n’étais pas ton point.
Je suis d’accord avec les questions que tu poses cela dit.
Je ne crois pas que ce bot soit fait pour faire de la psychothérapie.
#32
L’euthanasie c’est mal ?
Prendre les armes pour défendre son pays c’est mal ?
etc.
Bref, plein de problèmes moraux = bien vs mal. Mais ce que l’Histoire nous montre c’est que le contexte (époque, lieu, motivation) peut changer l’appréciation morale d’une situation.
L’IA fait la meilleure réponse possible suivant le contexte qu’elle a auto-déterminée.
Peut être que c’est là qu’on devrait poser des limites. Je ne sais pas.
#33
Je ne dis pas le contraire, je dis juste que pour savoir ce qui se trame il faut espionner l’autre ce qui n’est ni respectueux ni susceptible d’améliorer les choses si la personne s’en rend compte. C’est très compliqué ces sujets.
Si à chaque période pourrie que traverse ma compagne je me mettais à la fliquer et la traiter comme une mineure je pense que je ferai plus de mal que de bien personnellement… mais chacun fait ce qu’il/elle peut je suppose.