OpenAI a banni des comptes chinois cherchant à surveiller les réseaux sociaux

Plusieurs comptes liés au gouvernement chinois auraient eu recours à ChatGPT pour créer des pistes de travail sur un système de surveillance des conversations sur les réseaux sociaux. La « République populaire de Chine fait de vrais progrès dans sa fabrication d’une version autocratique de l’IA », écrit OpenAI dans son dernier rapport de sécurité.

Parmi les comptes finalement bannis par OpenAI, cette dernière rapporte des usages de ChatGPT pour développer des outils de surveillance de grande échelle de réseaux sociaux occidentaux ou chinois, et pour générer des contenus de promotion de ces outils. L’un des utilisateurs bloqués avait ainsi généré des contenus vantant une « sonde » capable de scanner X, Facebook, Instagram, Reddit, TikTok et Youtube pour y repérer « ce que l’utilisateur décrivait comme des discours extrémistes et du contenu ethnique, religieux et politique ». Un autre avait recouru à ChatGPT pour créer une proposition de « modèle d’alerte précoce » relatif à la population Ouïghour.

Outre ce type d’usage, l’entreprise revient sur les pratiques des acteurs malveillants dont elle a récemment banni des comptes de ses systèmes. Elle s’attarde notamment sur les tentatives de création de malware d’un réseau de langue coréenne, ou encore sur les activités de vibe-coding (programmation par requêtes à un modèle d’IA) d’un réseau russe et sur le retour d’une opération de désinformation probablement produite par une agence de marketing russe, dont les activités avaient déjà été détaillées par l’agence gouvernementale française VIGINUM.

Vibe-coding malveillant

OpenAI indique par exemple avoir repéré un groupe de comptes recourant à ChatGPT pour tenter de développer des logiciels malveillants liés à des serveurs de command-and-control (C2). L’entreprise suspecte que ces comptes soient liés à une opération nord-coréenne de spear-phishing détaillée par Trellix, mais ne peut pas réaliser d’attribution certaine. Elle précise bloquer l’accès à ses services à la Corée du Nord.

Autre pratique de développement chez les usagers malveillants : OpenAI a repéré et banni plusieurs comptes de langue russe recourant à ChatGPT pour s’aider à développer des logiciels problématiques, dont un cheval de Troie, des outils pour voler des identifiants, ou encore des fonctionnalités visant à éviter la détection. Leurs auteurs auraient ensuite publié des démonstrations de leurs activités de développement dans un groupe Telegram dédié.

Toujours en langue russe, l’entreprise souligne la reprise d’activité d’un réseau d’acteurs bloqué une première fois en octobre 2024. Cette fois, ces derniers génèrent beaucoup moins d’images. En revanche, ils recourent à ChatGPT pour générer, en russe, des scripts et descriptions de vidéos courtes, puis pour traduire ces vidéos en français, en leur liant des descriptions et des hashtags de nature à favoriser leur référencement.

La plupart de ces contenus intègrent ou évoquent des événements liés à divers pays africains, avec pour propos principaux la critique des activités françaises et états-uniennes sur le continent, la promotion des intérêts russes, mais aussi la critique de l’Ukraine et de ses soutiens.

Multiplication des outils d’IA

En termes de pratique, les acteurs malveillants passent sans cesse d’un outil d’IA à l’autre, constate le fabricant de ChatGPT et Sora. De multiples comptes de langues chinoises recourent ainsi aux outils d’OpenAI pour générer leurs campagnes de phishing et de diffusion de malwares, y compris pour leur faire continuer des tâches entamées sur DeepSeek.

L’un des réseaux de génération de scams repérés par l’entreprise a par ailleurs mis en place des tactiques pour effacer certains des signes désormais connus de recours à l’IA – dont la présence récurrente de tirets cadratins. Leur usage est régulièrement qualifié, en ligne, de preuve qu’un texte a été généré par IA (nous promettons avoir écrit la phrase précédente sans recourir au moindre modèle de langage).

OpenAI relève enfin que les acteurs malveillants finalement bannis « tendent à intégrer l’IA à leurs processus de travail préexistants plutôt que de construire de nouveaux processus de travail autour de l’IA ».