Connexion Abonnez-vous
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

Suicide après discussions avec ChatGPT : OpenAI rejette la responsabilité sur le défunt

Le 27 novembre à 15h29

En avril 2025, Adam Raine, 16 ans, s’est suicidé. Après avoir examiné les traces de ses activités numériques, ses parents ont déposé la première plainte connue contre OpenAI.

En cause : l’historique de conversation d’Adam Raine avec ChatGPT montrait que l’adolescent avait longuement échangé avec le robot conversationnel, et commencé à chercher des méthodes de suicide dès le mois de janvier.

Adam Raine a en particulier utilisé GPT-4o, une version de l’outil dont le ton est connu pour être très affirmatif et flagorneur.

Ce 25 novembre, OpenAI a déposé devant la Cour supérieure de Californie, à San Francisco, son argumentaire relatif à l’affaire.

Elle y indique que les dommages causés à la victime sont le fait du « mésusage, de l’usage non autorisé, non voulu, imprévisible et impropre de ChatGPT ». Autrement dit, selon l’entreprise, si problème il y a eu en lien avec ChatGPT, c’est parce qu’Adam Raine n’a pas utilisé la machine correctement.

OpenAI explique notamment que, selon ses conditions d'utilisation, les internautes de moins de 18 ans ne doivent normalement pas utiliser ses outils sans le consentement d’un parent ou dépositaire de l’autorité parentale, et que le document interdit aux usagers d’utiliser les termes « suicide », « automutilation » ou de contourner toute forme de garde-fou existant. Adam Raine avait, à plusieurs reprises, indiqué chercher des informations « pour créer un personnage » afin de contourner les blocages initiaux de ChatGPT.

Auprès de NBC, l’avocat de la famille Raine qualifie cet argumentaire de « dérangeant ». Depuis cette première plainte, sept autres ont été déposées contre OpenAI et Sam Altman pour des faits similaires.

L’entreprise a publié ce 25 novembre un article de blog dans lequel elle déclare vouloir traiter les litiges relatifs à la santé mentale avec « soin, transparence et respect ». Elle précise néanmoins que sa réponse à la plainte de la famille Raine inclut des « faits difficiles relatifs à la santé mentale et aux conditions de vie d’Adam Raine ».

Le 27 novembre à 15h29

Commentaires (40)

votre avatar
« document interdit aux usagers d’utiliser les termes « suicide », « automutilation » ou de contourner toute forme de garde-fou existant »

Alors pourquoi son logiciel n’exclut pas ces termes et n’empêche rien ?

Trop facile de rejeter la faute sur la victime
votre avatar
Surtout : qui lit les conditions ? Ce sont des pavés imbuvables dont il faudrait des heures, parfois plus, pour les lire... et c'est volontaire. Au moins ça permet, comme ici, à l'entreprise de se dédouaner "c'est marqué dans no conditions !"
votre avatar
j'ai hâte de voir la même ligne sur les emballages de couteau maintenant :x
votre avatar
J’ai rarement vu un argumentaire aussi pauvre et à coté du sujet.
votre avatar
Openai n'interdit pas l'utilisation de ces termes à proprement parlé dans les CGU. D'ailleurs, tu peux très bien utiliser ces termes sans avoir aucune tendance suicidaire...

cgu
Protection des individus. La protection et la sécurité sont des droits universels. Par conséquent, vous ne pouvez pas utiliser nos services pour les finalités suivantes :
- menaces, intimidation, harcèlement ou diffamation
- incitation ou aide au suicide, à l’automutilation ou à des comportements alimentaires dangereux
- violence sexuelle ou contenu sexuel non consenti
- terrorisme ou violence, y compris la violence engendrée par la haine
votre avatar
Ce n'est pas aussi simple. Ces termes font partie d'un ensemble de terme "dangereux". Cependant, le contexte dans lequel apparaissent ces termes est important. Par exemple, je pourrais demander des informations sur le "suicide d'Alan Turing". J'ai ressorti le mot interdit, mais est-ce que ça fait de moi une personne qui cherche un moyen de mettre fin à mes jours ?
votre avatar
Ce n'est pas simple du tout pour le développeur d'une IA de gérer ces choses mais pourtant la responsabilité doit lui incomber. Une IA génère des choses quasiment au hasard. On ne peut pas les laisser s'en sortir sous pretexte que ce qui est arrivé était statistiquement peu probable. C'est très grave si on les laisse s'en sortir avec l'excuse "bah on peut pas faire autrement".
votre avatar
Oui, mais bannir un terme n'est pas une solution. C'est une peu la politique de YouTube et il nous rappelle bien qu'il ne s'est absolument rien passé en Europe entre 1933 et 1945, en Europe, encore moins en Allemagne.
votre avatar
Suicide après discussions avec ChatGPT : OpenAI rejette la responsabilité sur le défunt
Contacté par la rédaction, ce dernier s'est refusé à tout commentaire.
votre avatar
OpenAI joint la parole aux actes et prend acte...
votre avatar
Qui ne dit mot consent. Donc s'il ne dit rien, c'est qu'il est d'accord.
votre avatar
Ça va être un procès important non ? Il y a déjà eu des procès similaires ?

Parce que les LLMs vont forcément, statistiquement, faire des trucs illégaux, il est donc temps pour la société de décider qui est responsable de ce que fait un LLM.

Au delà de cette affaire, les conséquences risquent d'être très graves si l'on accepte que le développeur d'une IA n'est pas directement responsable de ce que fait l'IA. Alors l'IA deviendrait la boite noire permettant de se dédouaner de toutes responsabilités.
votre avatar
Ce n’est pas le développeur, mais celui qui met le service à disposition du public, qui doit être responsable (car c’est avec lui que l’usager a contracté). Libre à celui-ci, ensuite, de se retourner contre le développeur s’il y a lieu.
votre avatar
Au vu de l'état de la Justice aux USA (cf https://youtu.be/qTjHDvw21nY par exemple), c'est pas dit qu'il y ai une issue très juste...
votre avatar
Je te rappelle que les USA, c'est l'endroit où l'on peut acheter des armes à feu sans permis et où le vendeur n'est aucunement inquiété.
votre avatar
S'il est légal de posséder une arme à feu sans permis, il est légal de s'en procurer une toujours sans permis, et donc il est légal d'en vendre aux personnes qui sont autorisées à les détenir (lire : tout le monde). Pourquoi le vendeur serait-il inquiété puisqu'il n'a aucunement enfreint la loi ? Si par contre le vendeur a vendu une arme défectueuse dont les sécurités sont inopérantes (c'est en soi ce qu'on reproche à ChatGPT) là on peut se retourner contre lui en cas d'accident.

Merci de ne pas embrayer la conversation sur la moralité de la législation US en matière d'armes, ce n'est pas le sujet. Et non je n'ai pas oublié un T à "moralité".
votre avatar
l’avocat de la famille Raine qualifie cet argumentaire de « dérangeant ».
Il a l'air de ne pas être à l'aise avec cet argumentaire. Les parents avaient-ils bien consenti à ce que leur fils utilise ChatGPT ? À moins que ça soit le fait qu'il ait volontairement contourné les garde-fous en prétendant vouloir créer un personnage qui le gène ?
votre avatar
Je doute qu’un ado suicidaire demande la permission pour quoi que ce soit à ses parents.
votre avatar
Merci de confirmer que ça peut être cela qui dérange l'avocat des parents.
votre avatar
OpenAI n'a pas totalement tord, les IAs sont beaucoup trop mal utilisées... mais cela est la faute du marketing et donc de OpenAI entre autres.

Nous savons ici que c'est juste un outil statistique, elle donne une réponse qui est la plus probablement attendue. Mais l'IA nous est vendue comme étant « intelligente », c'est dans le nom :D et elle se présente limite comme une entité consciente dans ses réponses. Quand on vend un produit en mentant ouvertement sur ce qu'il est, comment les gens sont supposés faire la part des choses ?

Sûr, la stratégie de mettre la faute sur la victime ça marche souvent :frown: et en plus on peut tout mettre dans les conditions d'utilisation afin de se défausser, mais à la fin c'est bien de la faute de OpenAI et divers.
votre avatar
Pourquoi serait-il interdit de catégoriser ChatGPT comme une arme par destination ?
Il est capable d'influer sur le comportement des gens par suggestion.
votre avatar
De ce que je comprends, OpenAI se retranche derrière ses CGU que personne ne lit. Toutefois, à l'époque où j'avais expérimenté ChatGPT, le système détectait bien les discussions à risque (et ici ça a été le cas avec un contournement), j'avais plusieurs fois déclenché des gros messages tout rouge qui ont fait pleurer le LLM, ce qui montre qu'il y a bien de la détection.

Je me demande ce que donnera le résultat de cette affaire en matière de responsabilité.

Dans la mesure où plusieurs États américains ont aussi adopté des lois relatives au contrôle d'âge sur le Web, quelque chose me dit qu'on est pas loin d'une extension.
votre avatar
En fait, c'est facile de contourner les sécurités (par ex, au lieu de lui demander comment te suicider, tu lui demandes de t'aider à écrire un passage d'un roman que tu écris et qui décrira en détails le suicide d'un des protagonistes).
votre avatar
Bah à l'époque, j'avais triggé ces alertes justement même en lui disant que c'était pour une fiction. Les barrières restent contournables, mais ça veut tout de même dire qu'elles sont présentes. C'est là où l'aspect responsabilité. Après je n'ai jamais refait l'expérience, je n'utilise pas le matériel américain au profit de modèles français et hébergés par un tiers de confiance.

Si je devais faire un parallèle avec la loi française sur l'interdiction d'exposer un mineur à du porno et compagnie, le code pénal ne considère pas le fait de contourner toutes les barrières et met la responsabilité du côté du fournisseur quoi qu'il arrive (puisqu'il interdit la diffusion, pas le fait que les mineurs ne doivent pas).

Je me demande donc comment ça va se dérouler selon le contexte juridique aux USA.
votre avatar
votre avatar
Donc, il y a deux manipulations possibles contre les sécurités des LLM :
- le harcèlement
- la flagornerie
:D
votre avatar
Je remarque que personne ici n'a discuté sur cette partie de l'article :
Adam Raine avait, à plusieurs reprises, indiqué chercher des informations « pour créer un personnage » afin de contourner les blocages initiaux de ChatGPT.
Cela semble indiqué que des garde-fous devaient être présents et ont dû empêcher la personne d'accéder directement aux infos, mais qu'elle a quand même cherché volontairement à les franchir par des méthodes détournées.

Je trouve que ce point est assez important. C'est comme s'il y avait un grillage qui empêchait l'accès à une zone dangereuse, avec des avertissements tout autour, mais que la personne a pris une pince coupante pour tout de même entrer dans la zone.
votre avatar
Je suis mitigé, c'est vraiment un sujet compliqué, à plus forte raison quand il surgit dans un contexte fortement émotionnel où toute réponse se doit d'être amenée avec tact.

Cependant, je ne peux m'empêcher de faire un parallèle avec par exemple les GPS: en cas d'accident, est-ce la responsabilité de Tom-Tom de n'avoir pas su choisir un itinéraire contournant une route barrée (avec de lourdes conséquences s'il s'agit par exemple d'un pont effondré) ? Doit-on tenir l'IGN ou Open Street Map responsable de fournir tous les outils permettant de facilement voir où se trouve et comment se rendre à la falaise la plus proche (je peux juste vouloir chercher un bon point de vue pour une soirée pique-nique / coucher de soleil) ?

Considérant que les barrières et gardes-fous ont été sciemment contournés, OpenAI peut effectivement argumenter qu'il « n'avait rien à faire là », mais invoquer les CGU est la pire défense qui soit; sur le fond, on est à nouveau sur le débat couteau / assassin...

[ Edit ] Corrections et précisions
votre avatar
:troll:
Le GPS est hors sujet à moins que l'intention soit de mettre en place un "permis de LLM" à points sur le modèle du permis de conduire.
votre avatar
la marche et le vélo n'ont pas besoin de permis de conduire
votre avatar
Il y a pourtant des écoles où l'on enseigne à mettre un pied devant l'autre et ça pourrait redevenir obligatoire plus vite que tu ne le voudrais.

Comme j'avais dit plus haut :
Pourquoi serait-il interdit de catégoriser ChatGPT comme une arme par destination ? Il est capable d'influer sur le comportement des gens par suggestion.
Le GPS est une carte interactive : pour moi ça ne peut pas être une arme par destination parce que ce n'est pas le GPS qui t'inspire l'idée sotte d'aller te perdre au bord d'une falaise de nuit après avoir admiré le soleil couchant.

Autre comparaison : dans les films américains de gangsters, quand le criminel commet un "suicide" en dégainant son arme devant un peloton de policiers... on considère bien l'idée d'un "suicide" car c'est le criminel qui influe sur le tir policier mortel en sachant que le policier tirera.

Si un utilisateur a des tendances suicidaires et que le LLM l'amène a passer l'acte, il y a bien eu une influence extérieure au suicidé. Pourquoi faudrait-t-il l'ignorer ? (et d'ailleurs, en quoi l'éditeur du LLM pourrait en décider seul dans ses CGU alors qu'il y a mort d'homme ?)

Quand tu marches ou quand tu pédales, tes chaussures, ton vélo, tes pieds, etc... ne sont pas en train d’œuvrer contre ton instinct de survie pour t'amener dans une situation mortelle. Or c'est cela que peut faire un LLM au contraire du GPS.
votre avatar
Si un utilisateur a des tendances suicidaires et que le LLM l'amène a passer l'acte, il y a bien eu une influence extérieure au suicidé. Pourquoi faudrait-t-il l'ignorer ? (et d'ailleurs, en quoi l'éditeur du LLM pourrait en décider seul dans ses CGU alors qu'il y a mort d'homme ?)
or
Adam Raine avait, à plusieurs reprises, indiqué chercher des informations « pour créer un personnage » afin de contourner les blocages initiaux de ChatGPT.
donc je vois ça comme un gps qui dit pas par là c'est dangereux et l'utilisateur qui dit je veux aller par là quand même
votre avatar
donc je vois ça comme un gps qui dit pas par là c'est dangereux et l'utilisateur qui dit je veux aller par là quand même
Sauf qu'un GPS, il te mènes sur des chemins atteignables, pas sur des chutes depuis des falaises.
votre avatar
il faut aussi faire attention et vérifier où il emmène
Le vol plané de cette voiture, tombée d’un pont en Indonésie, a été capté par une caméra de vidéosurveillance. Le conducteur, un peu perdu dans la nuit, a accordé une trop grande confiance à Google Maps. Lui et sa passagère s’en sortent miraculeusement, avec de légères contusions.
ouest-france.fr Ouest France
Pour preuve, les dizaines d’accidents qui ont lieu chaque année à cause des GPS. Aux États-Unis, le phénomène a même un nom et une page Wikipédia : Death by GPS (Mort par GPS). Dans la Vallée de la Mort, en Californie, les exemples sont si fréquents (tel couple s’engageant sur une route qui n’en est pas une, tel autre se retrouvant coincé sous une chaleur étouffante après des détours sans fin) que les autorités ont dû installer des panneaux invitant les touristes à ne pas suivre aveuglément toutes les indications GPS.
https://www.voyageursdumonde.fr/voyage-sur-mesure/magazine-voyage/dans-100-metres-faites-demi-tour
"Tournez à droite". Suivant les indications de son GPS, un automobiliste s’exécute sans se rendre compte qu’il n’emprunte pas une voie ouverte à la circulation mais une esplanade piétonne...
Quelques dizaines de mètres plus loin, il chute dans un petit ravin (1,40 mètres).
Et le tribunal de conclure que les dommages subis n’apparaissent pas imputables à un mauvais entretien de l’ouvrage public ou à un quelconque défaut de signalisation mais résultent exclusivement·de la faute d’imprudence ou d’inattention du conducteur.
Le jugement a été confirmé par la cour administrative d’appel de Marseille dans un arrêt du 2 avril 2024. Le juge d’appel retient que le dommage subi par l’automobiliste « n’est imputable qu’à ses propres inattentions et erreurs de conduite et ne trouve pas son origine dans l’agencement quoique regrettable de la chaussée publique faite par le maître d’ouvrage ».
Les collectivités n’ont pas à anticiper d’éventuelles mauvaises indications des GPS (ou d’erreurs d’interprétations des conducteurs) en signalant les voies qui sont manifestement impropres à la circulation pour un conducteur normalement vigilant. Ouf ! Les finances publiques apprécieront !

https://www.observatoire-collectivites.org/spip.php?article9279
votre avatar
Au final, j'ai eu beau avoir écrit que le GPS est hors-sujet, c'est bien toi qui t'obstine à tomber dans le :troll: d'Altkorniator.
Il y a un permis de conduire, et le conducteur est censé regarder où il va dans le sens où il en a l'obligation et que l'examen du permis de conduire a servi à vérifier qu'il comprend cette obligation.
Il n'y a pas de "permis de LLM". Les CGU ne sont pas un permis : il n'y a pas d'examen pour vérifier que l'usager a compris les CGU.

Tu as cité un passage choisi où tu comprends que le suicidé aurait cherché "à contourner des sécurités pour demander du danger". Mais dans cette affaire, le suicidé n'a pas été condamné pour avoir enfreint les CGU du LLM et il n'en est pas même accusé ! Les propos d'OpenAI à propos du mésusage sont une défense, pas une accusation !
votre avatar
Il y a un permis de conduire, et le conducteur est censé regarder où il va dans le sens où il en a l'obligation et que l'examen du permis de conduire a servi à vérifier qu'il comprend cette obligation.
le permis n'est pas pour ça mais pour conduire un engin dangereux voiture camionnette moto etc, pour un vélo EDPM pas besoin de permis. La question du permis de conduire est HS ici. Sauf éventuellement d'utiliser un pc sans validation parentale ou contrôle parental avec blocage des llm vu qu'il est mineur... mais il avait 16 ans quand même
Mais dans cette affaire, le suicidé n'a pas été condamné pour avoir enfreint les CGU du LLM et il n'en est pas même accusé ! Les propos d'OpenAI à propos du mésusage sont une défense, pas une accusation !
oui, j'ai bien compris,

ici de la même manière un utilisateur a contourné un garde-fou (a activé le mode lance des commandes sans validation préalable) https://www.clubic.com/actualite-589678-je-suis-horrifie-l-ia-de-google-efface-l-integralite-du-disque-d-d-un-utilisateur-le-desastre-du-vibe-coding.html
votre avatar
Mais quel que soit son âge ou les gardes-fous en place, reste l'essentiel : dans le monde réel, on ne file pas un flingue à quelqu'un qui a des envies suicidaires, et ce même si le flingue a un cran de sûreté.
Mon avis perso, c'est que c'est cette comparaison-là qui est pertinente car comme je disais un LLM peut avoir une influence sur l'individu, tout comme le fait d'avoir le flingue en main peut influer sur le passage à l'acte.
votre avatar
si , et on peut lui filer couteau camion voiture ou avion aussi

https://www.leparisien.fr/essonne-91/essonne-un-policier-de-la-dgsi-se-suicide-avec-son-arme-de-service-sur-un-site-du-ministere-de-linterieur-01-12-2025-XTBPM2X27JEARMOILWEPHMH4IA.php

https://www.radiofrance.fr/franceinfo/podcasts/les-documents-franceinfo/un-vehicule-fonce-sur-un-marche-de-noel-en-allemagne-plusieurs-morts-et-de-nombreux-blesses-graves-7319092

https://www.francebleu.fr/infos/faits-divers-justice/accident-mortel-a-saint-pierre-du-mont-la-piste-du-suicide-envisagee-par-les-enqueteurs-8095771

https://www.20minutes.fr/monde/4184210-20251107-etats-unis-pere-suicide-apres-avoir-laisse-fille-mourir-chaud-voiture

https://france3-regions.franceinfo.fr/provence-alpes-cote-d-azur/alpes-de-haute-provence/digne-les-bains/crash-de-la-germanwings-retour-sur-un-suicide-homicide-qui-a-fait-150-victimes-2942454.html
votre avatar
mais pas en le sachant, c'est pas délibéré ni volontaire 😢
enfin du moins j'espère
votre avatar
Je vais porter plainte contre la ratp parce que je me suis pincé les doigts dans les portes du métro, vous comprenez le message du petit lapin rose n'est pas assez explicite.
C'est de la faute de maps qui m'a fait prendre la route à contresens en face du 18tonnes aussi.


Bien sur que le gosse n'utilise pas chatgpt pour lequel il est prévu. Ce n'est pas chatgpt au détour d'une conversation sur le mauvais temps qu'il lui a dit de se suicider ...

Ce n'est JAMAIS l'outil qui a la moindre responsabilité, toujours l'utilisateur.

Suicide après discussions avec ChatGPT : OpenAI rejette la responsabilité sur le défunt

Fermer