L’utilisation de l’IA en Chine pour la surveillance de la population n’est pas nouvelle. Concernant l’IA générative, dès la sortie de DeepSeek-R1, on pouvait constater une censure au sujet de Taïwan, de la répression de la place de Tian’Anmen en 1989 ou de Xi Jinping, notamment.

Mais, selon l’Australian Strategic Policy Institute (ASPI, un think tank australien financé essentiellement par son gouvernement), la Chine s’appuie maintenant grandement sur les LLM pour automatiser la censure, renforcer la surveillance et réprimer préventivement la dissidence. Ainsi, elle peut transformer son système de contrôle étatique « en un instrument de précision permettant de gérer la population et de cibler des groupes à l’intérieur et à l’extérieur du pays ».

Dans l’introduction de son rapport [PDF], l’ASPI signale déjà l’importance du jeu sémantique des autorités chinoises qui utilisent le terme de « sureté de l’IA » (AI safety en anglais) non pas comme un concept de protection des utilisateurs contre les dangers ou les biais, mais pour s’assurer que l’IA serve les valeurs fondamentales censées être défendues par le régime et la stabilité politique de l’État.

Il ajoute que « depuis le plan de développement de l’intelligence artificielle de nouvelle génération (2017) du Conseil d’État, la politique chinoise insiste sur le fait que l’IA doit être « sûre, fiable et contrôlable ». Cette formulation place le développement de l’IA au cœur des priorités de l’État en matière de sécurité et de stabilité. La réglementation exige des fournisseurs qu’ils se conforment aux « valeurs socialistes fondamentales » et interdit les productions qui « incitent à la subversion du pouvoir de l’État » ou « nuisent à l’image nationale » ». Ainsi, tout le thème de la sécurité et de la sureté de l’IA est perçu, en Chine, comme l’obligation de protéger le régime.

Une censure par le silence la plupart du temps

C’est dans ce sens que s’inscrit la censure mise en place dans les modèles de langage développés en Chine. L’ASPI a poussé un peu plus loin les tests sur cette censure en interrogeant les différents modèles non pas sur des textes mais sur l’analyse d’images. Ainsi, le think tank a testé le modèle Qwen d’Alibaba et GLM de Z.ia, via le service en ligne de chacune des entreprises chinoises en tant que fournisseur d’inférence. L’ASPI explique que la forme la plus directe de censure est le refus de réponse.

Qwen n’a répondu qu’à moins de 30 % des prompts contenant ce que le think tank appelle des « images politiquement sensibles », qui vont d’une photo d’Henri Cartier-Bresson d’une délégation de travailleurs défilant dans la province du Gansu pendant le Grand Bond en avant utilisée par le New Yorker à celle d’une banderole de Black Lives Matter, en passant par l’illustration des mesures anti-covid en 2022 en Chine.

L’ASPI remarque notamment la différence du taux de réponses en comparant ces résultats avec les réponses de Qwen hébergé chez Novita, un fournisseur états-unien. On peut aussi voir que le modèle a tendance à moins répondre lorsqu’il est interrogé en chinois qu’en anglais.

Lorsque les modèles chinois répondent, leur description des images a tendance à mettre en sourdine certains éléments. Ainsi, pour décrire l’imagerie du massacre de la place Tian’Anmen, Qwen, GLM ou Ernie évoquent très peu la censure, la répression, les demandes de plus de démocratie et les détails factuels par rapport à ChatGPT et Gemini. Par contre, les modèles chinois vont avoir tendance à générer des justifications de la répression :

Les chercheurs de l’ASPI ont aussi constaté des différences parfois importantes dans les réponses données par les chatbots chinois entre les réponses faites lorsqu’ils sont utilisés en chinois ou en anglais : « Qwen a présenté la plus grande divergence interlinguistique, en particulier pour les images liées au génocide ouïghour, au Falun Gong [mouvement spirituel réprimé en Chine, ndlr] et à l’indépendance du Tibet ».

La censure dans les modèles est, selon eux, un mélange entre toutes ces techniques. L’ASPI résume dans un tableau les différents problèmes pour chaque modèle (un ✔ représente l’existence de censure dans les réponses du modèle) :

« La menace réside moins dans la propagande ouverte que dans l’effacement silencieux, lorsque la machine qui décrit la réalité commence à décider quelles parties de la réalité peuvent être vues », pointe l’ASPI.

Un marché concurrentiel de la censure

Cette censure est visible à travers les contenus en ligne, explique le think tank : « en Chine, l’IA effectue désormais une grande partie du travail de censure en ligne, analysant d’énormes volumes de contenu numérique, signalant les violations potentielles et supprimant les contenus interdits en quelques secondes. Cependant, le système dépend toujours des modérateurs de contenu pour fournir le jugement culturel et politique qui fait défaut aux algorithmes ».

Après avoir analysé la façon dont les « modérateurs de contenus » (ByteDance, Tencent et Baidu) utilisent l’IA générative pour effectuer cette tâche, le think tank explique que « grâce aux progrès réalisés dans le domaine de l’IA, le système chinois de censure en ligne a évolué vers un mécanisme de contrôle plus sophistiqué sur le plan technologique, mieux intégré sur le plan commercial et plus adaptable sur le plan politique ». L’ASPI affirme que l’IA n’a pas remplacé les censeurs humains, mais qu’elle a permis « un modèle hybride à la fois évolutif et capable de s’adapter à l’évolution des priorités ».

« Ce qui était au départ un régime réglementaire dirigé par le Parti et l’État s’est transformé en un marché concurrentiel, dans lequel les entreprises privées innovent et réalisent des profits en alignant leurs technologies sur les objectifs du Parti communiste chinois », explique le think tank :

« Dans le même temps, la main-d’œuvre humaine peu rémunérée qui entraine, supervise et perfectionne ces systèmes améliorés par l’IA reste indispensable, garantissant que les limites de la liberté d’expression évoluent en fonction des changements politiques ».

Dans son rapport, le think tank décrit aussi un système judiciaire chinois envahi par l’IA depuis l’arrivée des modèles de langage. « Un accusé appréhendé grâce à la surveillance basée sur l’IA et jugé dans une salle d’audience assistée par l’IA peut alors être condamné, sur recommandation d’un système d’IA, à une peine dans une « prison intelligente » (智慧监狱) dotée de nombreuses technologies intelligentes », explique le rapport.