En octobre dernier, Sam Altman annonçait que son entreprise allait rendre ChatGPT bientôt plus amical et ouvert aux conversations érotiques. Mais en janvier, un comité d’experts, que l’entreprise a créé en parallèle pour « éclairer [ses] efforts » concernant le bien-être et l’IA, s’est prononcé clairement contre ce projet.

Sam Altman affirmait vouloir « traiter les utilisateurs adultes comme des adultes » en leur créant un mode particulier une fois que leur âge était vérifié. En janvier dernier, OpenAI annonçait la mise en place de plusieurs barrières pour les mineurs : soit un système interne de « prédiction d’âge » soit une vérification d’âge avec la solution de Persona (selfies ou scan de pièce d’identité). Le système était donc en place pour lâcher la bride sur des sujets sensibles selon l’âge de l’utilisateur.

Mais, même en interne, ce nouveau mode permettant des conversations à caractère sexuel était critiqué. Une des cadres de l’entreprise, Ryan Beiermeister a, par exemple, exprimé publiquement son opposition à cette fonctionnalité. Elle a été ensuite licenciée au motif qu’elle aurait commis une discrimination de genre à l’encontre de l’un de ses collègues masculins. Et l’entreprise continue officiellement d’avancer sur le projet, même si elle a encore reporté son lancement «  afin de pouvoir [se] concentrer sur des tâches qui sont actuellement plus prioritaires pour un plus grand nombre d’utilisateurs ».

Un comité d’experts furieux

Son comité d’experts sur le bien-être et l’IA s’est réuni en janvier après que les responsables de l’entreprise l’eurent informé de l’avancement du projet. Ce comité, créé mi octobre, rassemble des chercheurs comme David Bickham, Tracy Dennis-Tiwary ou Andrew K. Przybylski. Il a été mis en place notamment suite à la plainte contre OpenAI des parents d’Adam Raine, 16 ans, qui s’est suicidé. L’annonce de sa création a été étonnamment faite le jour où Sam Altman a annoncé son intention de mettre en place le mode adulte sur ChatGPT.

Selon le Wall Street Journal, les membres de ce comité étaient furieux et se sont unanimement opposés au projet. Ils ont averti que « l’érotisme généré par IA pouvait favoriser une dépendance affective malsaine pour les utilisateurs vis-à-vis de ChatGPT et que des mineurs pourraient trouver un moyen d’accéder à ces discussions sexuelles », expliquent les sources du journal. L’un des experts se serait appuyé sur plusieurs cas de suicides impliquant des chatbots IA pour affirmer qu’OpenAI prenait le risque de créer un « coach au suicide séduisant ».

• Psychoses induites par IA : le défi de sortir les internautes de leur « spirale » mentale
• Gemini aurait poussé un homme au suicide après avoir créé une relation toxique

Ainsi, en octobre 2024, l’adolescent Sewell Setzer III s’est suicidé alors qu’il avait développé une relation intime et problématique avec les chatbots de Character.AI. Sa mère a récemment conclu un accord avec l’entreprise, qu’elle accusait de ne pas avoir déployé les garde-fous nécessaires.

12 % des mineurs détectés comme des adultes

Si OpenAI a reporté le projet, le Wall Street Journal explique que l’entreprise veut toujours le mettre en place à terme. Mais selon le journal, le système de prédiction d’âge développé par OpenAI classait encore récemment à tort 12 % des mineurs comme des adultes, ce qui permettrait à des millions d’utilisateurs de moins de 18 ans à accéder à ses services censés être réservés aux adultes.

• Sites pornos : la vérification d’âge reste une blague, Dora l’Exploratrice passe toujours
• Des chercheurs alertent sur les dangers de la généralisation de la vérification d’âge

L’entreprise aurait aussi du mal à permettre aux adultes d’utiliser son chatbot pour des conversations érotiques tout en bloquant les contenus pédopornographiques. Son concurrent, xAI, est actuellement sous le coup de plusieurs enquêtes à travers le monde après la génération de deepfakes par son IA Grok visant à dénuder des femmes et des mineurs sur X.

Certaines personnes chez OpenAI ont souligné aussi le risque d’utilisations compulsives, de dépendances émotionnelles par rapport au chatbot, de tomber dans une spirale de recherche de contenus de plus en plus extrêmes, explique le Wall Street Journal.

Une porte-parole d’OpenAI a affirmé au journal que l’entreprise veut générer des discussions avec des « thèmes adultes » en les décrivant plutôt comme « sales » (« smut » en anglais) plus que « pornographiques ». Selon elle, les algorithmes de prédiction d’âge de l’entreprise affichent des résultats similaires à la concurrence mais ne seront jamais infaillibles. L’entreprise affirme qu’elle a mis en place des gardes-fous dans ses modèles pour ne pas encourager les relations exclusives avec les utilisateurs, et leur rappeler qu’ils ont besoin d’entretenir des relations dans la vie réelle.