Le comité éthique du CNRS appelle à la vigilance sur les robots « sociaux »

Avec l'IA générative, les chatbots et robots de compagnie ont gagné en capacité à faire illusion et de nombreuses applications sont devenues populaires. Mais nous connaissons peu le degré d'attachement à ces robots dits « sociaux ». Le comité éthique du CNRS, alerté par une chercheuse en robotique, s'est saisi du sujet et appelle « spécifiquement à la vigilance les chercheurs » sur l'anthropomorphisation et sur les aspects psychiques et cognitifs de leur utilisation.

Si l'IA générative n'est pas une intelligence artificielle générale, on peut observer une tendance à les utiliser pour créer des robots de compagnie. Le comité d'éthique du CNRS (COMETS) publie un avis (PDF) sur « Le phénomène d'attachement aux robots dits "sociaux" » et insiste pour que la recherche scientifique soit vigilante sur le sujet.

Dans le groupe de travail qui a planché sur le sujet, se trouvent la chercheuse en informatique du CNRS Catherine Pelachaud, les deux professeurs émérites en intelligence artificielle Raja Chatila et Jean-Gabriel Ganascia, la chercheuse en droit et directrice du COMETS Christine Noiville, et le professeur d’Immunologie Patrice Debré.

Dans sa démonstration de GPT4-o, OpenAI montrait des vidéos d'interaction avec une voix qui simulait de façon très fidèle les intonations et les traits d'humour que pourrait avoir un être humain dans ce genre de conversation tout en lui donnant un ton de flirt très proche de celle de Scarlett Johansson dans le film Her. Desi Lydic, du Daily Show, s'en était moqué en disant qu'elle était « clairement programmée pour nourrir l'ego des mecs ».

• OpenAI présente GPT-4o, Claude devient disponible en Europe

Plein de robots « sociaux » déjà sur le marché

Ce n'était qu'une démonstration, mais d'autres existaient déjà avant même l'avènement des IA génératives. Replika vend son application comme une IA amie qui peut jouer des rôles sociaux de l'âme sœur à partenaire de jeux érotique. L'entreprise japonaise Gatebox avait déjà sorti Azuma Hikari en 2016, pour servir de « meilleur compagnon ».

Sim Sensei Kiosk, développé par des chercheurs dès 2014, prétend lire leurs émotions et aider à lutter contre la dépression. La startup comme Affectiva affirme aussi pouvoir analyser en temps réel les signaux extérieurs renvoyés par les humains pour déduire leurs émotions.

Au Japon, se sont développés des « deadbots », robots conversationnels simulant la discussion avec des proches décédés. On plonge donc en plein dans l’épisode Bientôt de retour de Black Mirror, qui développe justement beaucoup le phénomène d’attachement.

Et même le chatbot Claude a été présenté par Anthropic comme « un collègue sympathique et enthousiaste ou un assistant personnel à qui l'on peut donner des instructions en langage naturel pour l'aider à accomplir de nombreuses tâches ».

Dès lors, comme le faisait déjà la fiction de Spike Jones, on peut se poser des questions sur des phénomènes de substitution à la solitude, mais également de dépendance affective ou de manipulation psychologique via ses robots.

Une balance bénéfices / risques peu étudiée

Souvent, ces applications mettent en avant des bénéfices sociaux potentiels importants. C'est, par exemple, le cas d'Alix qui prétend « aider les aidants des malades d'Alzheimer » ou de Kaspar, qui se présente comme un compagnon pour des enfants qui ont des troubles autistiques.

Pour le COMETS, « certains effets peuvent être bénéfiques. [...] Toutefois, on doit aussi s’interroger sur les incidences négatives que le phénomène d’attachement aux robots sociaux peut entraîner sur les décisions, les modes de vie, la santé mentale et émotionnelle, la personnalité, les relations avec autrui ». Pour l'instant, le COMETS constate que peu de recherches ont été faites pour analyser les risques.

« Ils sont peu documentés scientifiquement et par ailleurs peu visibles, en dehors de cas largement médiatisés mais très particuliers comme le mariage de jeunes gens avec « leur » robot, ou le suicide d’un jeune homme suite à ses échanges avec son ami agent conversationnel… », explique Christine Noiville, qui est aussi directrice du COMETS.

Sont évoqués « le potentiel addictogène des robots sociaux, la dépendance cognitive et affective voire la relation pathologique qu’ils peuvent créer ». Mais aussi, le COMETS pose la question de savoir si « l’usage des robots sociaux est de nature à porter atteinte à l’autonomie de l’utilisateur et à l’intégrité de son jugement ». Le comité évoque aussi que « le risque a également été maintes fois exprimé d’un manque d’interactions avec autrui, une transformation des relations sociales, voire d’une désocialisation ». Il cite même l'interview de Serge Tisseron qui affirmait en 2018 dans Le Monde que « les  robots vont modifier la psychologie humaine ».

« Ainsi que l’expriment certains psychologues et psychiatres, ces éléments conduisent à devoir intégrer notre relation aux objets dits « intelligents » et « émotionnels » comme un élément d’appréciation de la qualité de notre relation au monde et même de notre santé mentale » affirme le rapport.

Le COMETS demande donc à ce que plus de recherches soient effectuées pour étudier pour « mieux comprendre les déterminants de cette relation et d’en prévenir les impacts néfastes ».

Un rôle à jouer pour la recherche publique

Le comité ajoute que « la recherche publique a, à cet égard, un rôle-clé à jouer ». Il constate qu'à ce jour, le développement de ces robots sociaux « repose sur une recherche-développement très largement menée par des entreprises privées ». Il nomme les géants du numérique comme Google, Microsoft et Amazon, mais aussi des startups comme Affectiva, Miko, UBTECH, Intuition Robotics, Embodied ou Digital Dream Labs.

Mais il pointe aussi que les chercheurs des organismes publics français , comme le CNRS, l’INRIA, le CEA et diverses universités, développent des modèles expérimentaux dont « les entreprises peuvent ensuite se saisir des résultats de ces recherches académiques pour développer leurs produits ». Et le COMETS ajoute : « or ces recherches contribuent à l’anthropomorphisation des robots sociaux et au phénomène d’attachement dont se préoccupe le présent avis ».

Des études interdisciplinaires nécessaires

« Étant donné le nombre croissant d’interfaces numériques dans la vie quotidienne, chercher à faciliter "l’engagement" de l’utilisateur constitue un objectif louable », concède le comité d'éthique « Mais rares sont les institutions, sociétés savantes et chercheurs en informatique, en robotique, en sciences comportementales et en sciences du langage qui se sont pleinement appropriés les questionnements éthiques liés à cet engagement, ses finalités, ses effets potentiellement pervers », ajoute-t-il directement.

Le Comité demande aussi que des études interdisciplinaires à propos de « l’incidence sur la cognition, le psychisme, le comportement des utilisateurs, le rapport de ces derniers à autrui et au monde, les conditions de la convivialité entre humains et robots sociaux et entre les humains accompagnés de robot » soient lancées. Le but est de « construire ainsi, en toute indépendance, un socle de savoirs nécessaires pour faire face aux enjeux liés à l’usage de ces outils et pour en anticiper les éventuels effets sociaux néfastes ».

Cinq recommandations pour la recherche publique

Enfin, le COMETS fait cinq recommandations à la recherche publique, en précisant qu'il s'adresse aux chercheurs en informatique et robotique, mais aussi aux sociétés savantes et organismes de recherche :

1. développer des formations aux enjeux éthiques (dans les cursus scientifiques et techniques et pour les personnels de recherche concernés), se familiariser davantage avec la littérature internationale consacrée à ces questions et en débattre collectivement ;
2. s’interroger sur les finalités de la recherche, des applications et des choix de conception, comme sur les avantages et les inconvénients à donner aux robots une forme ou un comportement humanoïde ou des capacités à capter et à simuler les émotions ;
3. mener, dans des situations et contextes réalistes, des études scientifiques de long terme et à grande échelle sur : – les relations que les utilisateurs nouent avec « leurs » robots sociaux et sur les incidences en termes de cognition, de psychisme, d’attachement, d’autonomie d’actions et de décisions ; – les effets du déploiement les robots sociaux sur les relations entre humains ;
4. renforcer à cet effet les recherches interdisciplinaires et indépendantes associant aux travaux en informatique, en robotique, en sciences du comportement, du traitement du langage, etc., des recherches en psychologie, neurosciences, linguistique, sociologie, droit, éthique, philosophie, anthropologie ;
5. dans le cadre d’un observatoire, collecter à grande échelle et à long terme les données relatives à l’utilisation de robots sociaux, la manière dont les utilisateurs se les approprient, les impacts sur leurs états émotionnels et leurs décisions ; l’objectif est d’alimenter la recherche scientifique et, à plus long terme, d’éclairer les utilisateurs et les décideurs sur les conditions d’un développement et d’un usage libre et responsable de ces dispositifs.