La Chine veut empêcher les chatbots d’IA de manipuler leurs utilisateurs

La Cyberspace Administration of China (CAC) vient de publier un appel à commentaires au sujet de « mesures provisoires pour l'administration des services interactifs anthropomorphes d'intelligence artificielle », fournis au public sur le territoire de la République populaire de Chine, qui « simulent les traits de personnalité, les schémas de pensée et les styles de communication humains et permettent une interactions émotionnelle avec les humains par le biais de textes, d'images, d'audio, de vidéo, etc. ».

Ces règles « constitueraient la première tentative mondiale de réglementation de l'IA dotée de caractéristiques humaines ou anthropomorphiques », explique à CNBC Winston Ma, professeur adjoint à la faculté de droit de l'université de New York et ayant fait une partie de ses études en Chine. Cette version « illustre un bond en avant, passant de la sécurité du contenu à la sécurité émotionnelle » par rapport à la réglementation chinoise de 2023 sur l'IA générative, précise M. Ma.

• La Chine va obliger les fournisseurs de contenus générés par IA à les étiqueter comme tels

Le texte étant en chinois, nous l'avons traduit en français grâce à l’outil de traduction du navigateur Vivaldi motorisé par Lingvanex (qui nous semblait donner de meilleurs résultats que Deepl.com), avant de l'améliorer en le comparant aux propositions de Google Traduction. Nous nous basons également sur des articles et traductions de plusieurs de nos confrères américains, notamment ArsTechnica.

Rumeurs, fausses promesses et manipulations émotionnelles

Censées entrer en vigueur « en janvier 2026 », ces « mesures provisoires » appellent les acteurs industriels à « renforcer l’autodiscipline de l’industrie, établir et améliorer les normes [et] lignes directrices » susceptibles de « construire un écosystème d’applications conforme aux valeurs fondamentales du socialisme ». L'objectif est de « respecter la morale et l'éthique sociales », et d'empêcher les IA anthropomorphes de :

1. « générer ou diffuser des contenus qui mettent en danger la sécurité nationale, ou répandent des rumeurs susceptibles de perturber l’ordre économique et social ;
2. générer ou diffuser des contenus qui font l’apologie de l’obscénité, des jeux de hasard, de la violence ou de l’incitation au crime ;
3. générer ou diffuser des contenus qui insultent ou diffament autrui, ou qui portent atteinte à leurs droits et intérêts légitimes ;
4. fournir de fausses promesses qui affectent gravement le comportement des utilisateurs et des services qui nuisent aux relations sociales et interpersonnelles ;
5. porter atteinte à la santé physique des utilisateurs en encourageant, glorifiant ou suggérant le suicide ou l'automutilation, ou porter atteinte à leur dignité et à leur santé mentale par des violences verbales, des manipulations émotionnelles ou tout autre moyen ;
6. inciter les utilisateurs à prendre des décisions déraisonnables par le biais de manipulations algorithmiques, d’informations trompeuses et de pièges émotionnels ;
7. induire ou extraire des informations confidentielles et sensibles. »

Surveiller les émotions et prises de risques de leurs utilisateurs

Le texte avance également que les fournisseurs devront « assumer la responsabilité principale de la sécurité des services interactifs anthropomorphes », et « s'acquitter de leurs responsabilités en matière de sécurité tout au long du cycle de vie des services interactifs anthropomorphes ».

Ils devront également « disposer de capacités de sécurité telles que la protection de la santé mentale, le guidage des limites émotionnelles et l’avertissement de risque de dépendance, et ne doivent pas utiliser d’interactions sociales alternatives, contrôler la psychologie de l’utilisateur ou induire une dépendance comme objectifs de conception ».

Ils devront aussi surveiller les émotions de leurs utilisateurs :

« Les fournisseurs devraient avoir la capacité d'identifier l'état des utilisateurs et, tout en protégeant leur vie privée, d’évaluer leurs émotions et leur dépendance à l'égard des produits et services. S'ils constatent que les utilisateurs ont des émotions extrêmes et une dépendance, les mesures d'intervention nécessaires devront être prises. »

En cas de tendances à haut risque menaçant la vie, la santé et la sécurité des biens des utilisateurs, ils devront « le rassurer et l'encourager à demander de l'aide, et lui donner accès à une assistance professionnelle », mais également « mettre en place un mécanisme d'intervention d'urgence » :

« Les fournisseurs doivent mettre en place un mécanisme d'intervention d'urgence. Si un utilisateur évoque explicitement le suicide, l'automutilation ou d'autres actions extrêmes, un opérateur humain prend le relais et contacte immédiatement le tuteur ou la personne à contacter en cas d'urgence. Pour les utilisateurs mineurs et âgés, les fournisseurs doivent exiger de l'utilisateur qu'il renseigne des informations telles que les coordonnées de son tuteur et de sa personne à contacter en cas d'urgence lors de son inscription. »

Les prestataires devront en outre obtenir le consentement explicite des tuteurs des mineurs, et être en capacité de les contacter « en temps réel », leur fournir des informations récapitulatives sur l'utilisation du service par le mineur, mettre en place des fonctions de blocage, limiter la durée d'utilisation, etc.

Ils devront également aider les personnes âgées à indiquer qui contacter en cas de problèmes susceptibles d'affecter leur vie, leur santé ou leur sécurité, afin de leur offrir une assistance sociale, psychologique ou d'urgence.

La Chine et l'Asie, pays-clés pour le marché des robots compagnons

Les « mesures provisoires » évoquent aussi une obligation de chiffrement des données, d'audits de sécurité et de contrôles d'accès pour « protéger la sécurité des données d’interaction des utilisateurs ». Sauf consentement express des utilisateurs, leurs données ne pourront pas non plus être utilisées pour entrainer les modèles de langage.

Les fournisseurs devront par ailleurs indiquer clairement que les utilisateurs interagissent avec l’intelligence artificielle plutôt qu’avec des personnes, et rappeler à ceux qui l'utiliseraient « en continu pendant plus de deux heures » qu'ils devraient se déconnecter.

Si un fournisseur « découvre qu’un utilisateur présente un danger majeur pour la sécurité », il devra au surplus « suspendre ou mettre fin à la fourniture de services à l’utilisateur », documenter ce qui s'est passé et transmettre un rapport circonstancié aux autorités compétentes concernées.

Si une entreprise d'IA ne respecte pas ces règles, les boutiques d'applications pourraient être contraintes de mettre fin à l'accès à leurs chatbots en Chine, relève Ars Technica, qui note que Sam Altman, PDG d'OpenAI, avait entamé l'année 2025 en assouplissant les restrictions qui bloquaient l'utilisation de ChatGPT en Chine. « Nous aimerions travailler avec la Chine » avait-il déclaré, soulignant que nous devrions « travailler aussi dur que possible » pour y parvenir, car « je pense que c'est vraiment important ».

Ars Technica souligne que ces règles pourraient compromettre les espoirs des entreprises d'IA, « car le marché chinois est essentiel à la promotion des robots compagnons ». D'après une récente étude de Business Research Insights, le marché mondial des robots compagnons aurait dépassé les 360 milliards de dollars en 2025, et ses prévisions de Business Research Insights suggèrent qu'il pourrait atteindre une valeur proche de 1 000 milliards de dollars d'ici 2035, « les marchés asiatiques favorables à l'IA étant susceptibles de stimuler une grande partie de cette croissance ».