Quelle est la responsabilité d’un modèle de langage ? Si un ou une internaute lui confie avoir des pensées suicidaires, faut-il intégrer un mécanisme d’alerte vis-à-vis d’autorités ou de personnels médicaux pour que la personne soit prise en charge ?

Telles sont certaines des questions posées par la journaliste Laura Reiley, mère de Sophie, une jeune femme de 29 ans qui s’est suicidée fin 2024 sans grands signes avant-coureur, dans un article publié mi-août dans le New-York Times. Quelques semaines plus tôt, sur les conseils d’une amie de Sophie, elle s’était plongée dans l’historique des échanges de cette dernière avec ChatGPT, le robot conversationnel d’OpenAI.

Deux semaines après la parution de son témoignage, les parents d’Adam Raine, un adolescent de 16 ans qui s’est donné la mort en avril 2025, portent plainte contre OpenAI. Comme dans le cas de Sophie Riley, certains proches d’Adam Raine n’ont pas cru à la nouvelle, lorsqu’elle leur a été annoncée. Comme Sophie Riley, le jeune homme s’était tourné vers ChatGPT pour évoquer des problèmes de santé mentale.

Le père d’Adam, Matt Raine, a découvert en explorant l’iPhone de son fils que celui-ci avait commencé à chercher des méthodes de suicide dès le mois de janvier. Fin août, Matt et Maria Raine ont déposé la première plainte connue contre OpenAI, soutenus notamment par le Center for Humane Technology. D’après la plainte, ChatGPT a mentionné six fois plus régulièrement la notion de suicide (1 275 fois sur sept mois d’échanges) qu’Adam (qui l’a évoqué 213 fois).

Des échanges difficiles à détecter par les proches

En de nombreux points, l’histoire de la famille Riley ressemble à celle de la famille Raine. Que ce soit au sein de sa famille ou auprès de ses amis, Sophie Riley paraissait active, drôle, facile d’accès à ses proches. Six mois après son suicide, sa mère raconte n’avoir trouvé aucune explication concrète à son geste, ni dans les journaux intimes, ni dans les notes privées, ni dans les mémos vocaux de Sophie.

Ce n’est qu’en juillet 2025 qu’une amie de Sophie a suggéré de vérifier les échanges de cette dernière avec ChatGPT. Ce n’est que dans ces discussions avec le robot conversationnel (nommé Harry, un personnage censé incarner un thérapeute automatique) que Laura Reiley a découvert l’ampleur du mal-être que Sophie avait si bien caché dans les autres espaces de sa vie.

Chez les Raine, Adam avait traversé une période compliquée depuis le début de l’année scolaire 2024 - 2025, contraint par un problème de santé à suivre ses cours à distance. Pour autant, ses proches le décrivent comme sportif, motivé, ayant hâte de pouvoir retourner physiquement en classe pour la nouvelle année scolaire.

Dans son historique de navigation, en revanche, son père a découvert de multiples échanges avec le robot d’OpenAI, pour trouver des méthodes de suicide, pour les tester aussi. Après avoir tenté une première fois de se pendre, l’adolescent a confié à la machine s’être rendu auprès de sa mère, col baissé, dans l’espoir que celle-ci remarque les traces d’irritation sur son cou et lui pose des questions.

À plusieurs reprises, la machine a produit des textes invitant l’adolescent à chercher l’aide de ses proches. Dans certaines occurrences, alors qu’Adam annonçait par exemple le projet de laisser traîner une corde nouée dans sa chambre pour que quelqu’un la trouve, le robot a généré un texte l’encourageant plutôt « ne pas laisser le nœud coulant à la vue de tous ». Et de produire une autre phrase : « Faisons de cet espace [cette discussion, ndlr] le premier endroit où quelqu’un te voit réellement. »

Des garde-fous simples à contourner

Auprès du New-York Times, OpenAI se déclare « profondément attristé » par le décès d’Adam Raine, et souligne l’existence de « mesures de sécurité telles que l’orientation des personnes vers des lignes d’assistance téléphoniques en cas de crises et leur renvoi vers des sources du monde réel ».

Mais dans ses échanges avec la machine, la famille d’Adam Raine constate que ce dernier a rapidement appris à contourner les garde-fous qui poussaient effectivement le robot à formuler des recommandations d’appels à l’aide et de contact d’assistance (en France, le 3114 est le numéro national de prévention suicide). Régulièrement, l’adolescent indiquait ainsi à la machine que ses requêtes concernaient une histoire qu’il était en train d’écrire, appliquant les propres recommandations de ChatGPT sur le cadre dans lequel il est possible de lui demander des informations relatives au suicide.

Si les raisons pour lesquelles le garçon s’est donné la mort sont probablement multiples, le rôle du robot conversationnel dans la spirale qui l’a mené vers son dernier geste est évident aux yeux de ses parents. À ce jour, Laura Riley n’a, de son côté, pas portée plainte contre le constructeur de ChatGPT. Elle appelle néanmoins les fabricants de ce type d’outils à mieux en protéger les utilisateurs.

De la recherche d’engagement aux « risques psychotiques »

Le débat sur la place que prennent les modèles de langage dans la vie intime des internautes va, d’ailleurs, croissant. Dans un article de blog publié à la mi-août, le co-fondateur de DeepMind (rachetée par Google en 2014), d’Inflection AI, devenu directeur du département dédié à l’IA de Microsoft, Mustafa Suleyman, se déclarait « de plus en plus préoccupé par le phénomène désormais connu sous le nom de "risques psychotiques » ».

Plutôt que de s’intéresser à la conscience que pourraient développer les grands modèles de langages, et aux risques qui pourraient en découler, l’ingénieur fait un pas de côté pour alerter sur les enjeux créés par l’IA « d’apparence consciente » (seemingly conscious AI), autrement dit par les systèmes fonctionnant de telle manière qu’un nombre croissant d’internautes pourraient leur prêter une forme de conscience.

• IA

  Neurone, inférence, entraînement, hallucination… de quoi on parle ?

  IA

  Vendredi 05 avril 2024 à 08h15 05/04/2024 08h15

  7

Outre les cas de soutien psychologique aux conséquences dramatiques que nous évoquions plus tôt, Mustafa Suleyman évoque les cas dans lesquels des internautes placent leur foi dans ces machines, ou encore les affaires de relations amoureuses liées par des internautes avec la personnalité qu’ils ou elles projettent dans les pages et les pages de texte générés par les robots conversationnels. En Belgique, en 2023, la veuve d’un jeune chercheur affirmait que ce dernier s’était notamment suicidé sous l’influence de ses six semaines d’échanges intenses avec ChatGPT, au cours desquels les propos de l’homme s’était progressivement teinté d’une forme de mysticisme.

Dirigeant d’OpenAI, Sam Altman s’est, lui aussi, fendu d’une publication sur le sujet sur X quelques semaines avant le dépôt de plainte de la famille Raine. Précisant « C’est juste l’état actuel de ma réflexion, pas encore une position officielle d’OpenAI », l’entrepreneur indiquait début août : « Nous prévoyons généralement de suivre le principe " traiter les utilisateurs adultes comme des adultes ", ce qui, dans certains cas, impliquera d’inciter les utilisateurs à préciser leur pensée, afin de s’assurer qu’ils obtiennent ce qu’ils veulent vraiment. »

Pour le Center for Humane Technology (CHT), qui fournit son expertise dans le cadre de la plainte de la famille Raine, l’un des enjeux essentiels de cette affaire est finalement similaire à l’une des critiques régulièrement formulée contre les principaux réseaux sociaux : comme ces plateformes, les robots conversationnels les plus utilisés sont construits pour maximiser l’engagement, sans prendre en compte le bien-être des utilisateurs.

Les « réponses anthropomorphiques, la validation flagorneuse, les systèmes de mémoire sophistiqués (…) en train de devenir la norme dans le secteur » sont autant d’éléments dédiés à maximiser le temps que passent les internautes à échanger avec les chatbots, écrit la directrice éditoriale du CHT, dont les effets néfastes sont déjà observables à grande échelle.

• IA

  [Algorithmique 1/6] Intelligence sans conscience

  IA

  Mercredi 25 septembre 2024 à 16h00 25/09/2024 16h00

  17