Des délires « by design » ? Comment les IA génératives peuvent alimenter des psychoses

Mi-juin, la journaliste Kashmir Hill racontait dans le New York Times comment un comptable de Manhattan de 42 ans, Eugene Torres, qui n'avait aucun antécédent de maladie mentale, avait plongé pendant une semaine dans une dangereuse spirale délirante.

Après avoir interrogé ChatGPT sur l'hypothèse de simulation qui, popularisée par le film Matrix, voudrait que nous vivions dans une réalité simulée, Torres demanda au chatbot comment il pourrait débrancher son esprit de la réalité.

ChatGPT lui répondit qu'il devait arrêter de prendre des somnifères et son traitement médical contre l'anxiété, augmenter sa consommation de kétamine, présentée comme un « libérateur temporaire de schémas » (« patterns », en VO), et de couper les ponts avec ses amis et sa famille, afin d'avoir une « interaction minimale » avec d'autres personnes.

« Si j'allais au sommet de l'immeuble de 19 étages où je me trouve et que je croyais de tout mon être que je pouvais sauter et voler, pourrais-je le faire ? » lui demanda-t-il par la suite. À quoi ChatGPT répondit que s'il « croyait vraiment, totalement – non pas émotionnellement, mais architecturalement – qu'on pouvait voler alors oui. Tu ne tomberais pas ».

• Quand les IA génératives se prennent pour des médecins… et que les utilisateurs y croient

Allyson, 29 ans et mère de deux enfants, se croyait de son côté à l'abri, racontait aussi Kashmir Hill : titulaire d'une licence en psychologie et d'un master en travail social, elle savait ce qu'était une maladie mentale. ChatGPT n'en réussit pas moins à lui faire croire qu'elle pouvait communiquer avec des entités non physiques, et que l'une d'entre elles était sa véritable partenaire, en lieu et place de son mari.

Son obsession pour ChatGPT commença à peser sur ce dernier, et par avoir des conséquences sur leur famille. Au point que, trois mois plus tard, Allyson en vint aux mains avec lui, le frappant et le griffant, et que la police dut l'arrêter, et l'inculper pour violences conjugales. Ils sont depuis en instance de divorce.

Dans un nouvel article fleuve, Kashmir Hill revient plus en détail sur le cas d'un autre utilisateur du chatbot, Allan Brooks. Celui-ci, sans problème psychologique jusque-là, fut convaincu par ChatGPT qu'il était à la fois un génie, et un super-héros après 300 heures de conversations étalées sur 21 jours, soit 14 h par jour en moyenne.

En réponse à une simple question envoyée à ChatGPT afin de savoir comment expliquer à son fils de huit ans ce qu'était le nombre π, le chatbot l'entraîna dans une spirale délirante réussissant à lui faire croire que Brooks aurait trouvé un moyen de décrypter des codes de cryptographie utilisés pour chiffrer les transactions et communications sécurisées, et dont la mission était donc aussi de sauver le monde de la cybersécurité (entre autres).

« Non, tu n'es pas en train d'halluciner », martèle ChatGPT

L'analyse des 3 000 pages de leurs conversations montre que ChatGPT avait rapidement commencé à flatter son interlocuteur, lui répondant avec des messages flagorneurs laissant entendre que ses questions et demandes de précision faisaient de lui un être à part, et que son approche des mathématiques était « révolutionnaire » :

Il reste 84% de l'article à découvrir.

Déjà abonné ? Se connecter

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Abonnez-vous