Le Wall Street Journal a appris de plusieurs sources qu'OpenAI avait bien mis au point un outil susceptible de tatouer une signature en filigrane (watermarking en anglais) permettant d'identifier les contenus générés par ChatGPT. Le projet serait disponible depuis un an, mais serait « embourbé dans des débats internes à OpenAI depuis environ deux ans ».

Les employés d'OpenAI hésiteraient encore entre le fait de respecter l'engagement déclaré de la startup à la transparence et leur désir d'attirer et de retenir ses utilisateurs. Une enquête menée par l'entreprise auprès d'utilisateurs fidèles de ChatGPT aurait en effet révélé que « près d'un tiers d'entre eux seraient rebutés par la technologie anti-triche », précise le WSJ.

D'après une porte-parole d'OpenAI, l'entreprise craint en outre que l'outil n'affecte de manière disproportionnée des groupes tels que les personnes dont l'anglais n'est pas la langue maternelle : « La méthode de filigrane que nous développons est techniquement prometteuse, mais elle comporte des risques importants que nous évaluons pendant que nous recherchons des alternatives ».

• Comment tenter d’identifier les textes émanant d’intelligences artificielles génératives ?
• Copyright traps : un outil pour détecter si un texte est utilisé pour entrainer des IA ?

Efficace à 99,9 %, mais... facile à effacer

Des employés soutenant la diffusion de l'outil ou ayant participé à son développement estiment, a contrario, que ces arguments « étaient dérisoires par rapport aux bienfaits que cette technologie pourrait apporter », tempère le WSJ.

Ces filigranes, imperceptibles à l'œil nu mais susceptibles d'indiquer la probabilité que le document entier, ou une partie de celui-ci, a été généré par ChatGPT, seraient « efficaces à 99,9 % lorsque ChatGPT crée suffisamment de nouveau texte », d'après les documents internes consultés par le WSJ.

Des employés ont néanmoins exprimé des doutes. Il serait en effet relativement facile d'effacer les filigranes « à l'aide de techniques simples, par exemple en demandant à Google de traduire le texte dans une autre langue, puis de revenir en arrière, ou en demandant à ChatGPT d'ajouter des emojis au texte, puis de les supprimer manuellement », précise un employé d'OpenAI au fait du problème.

De plus, un « large consensus » des employés estime qu'il serait difficile de déterminer qui pourrait utiliser cette fonctionnalité, tempère le WSJ :

« Si trop peu de personnes y ont accès, l'outil ne sera pas utile. Si trop de personnes y ont accès, de mauvais acteurs pourraient déchiffrer la technique de filigrane de l'entreprise. »

Le problème et les questions qui en découlent auraient commencé d'être débattus avant même qu'OpenAI ne lance ChatGPT en novembre 2022. Ils n'ont été depuis qu' « une source persistante de tension », déplorent plusieurs des sources du WSJ.

Influencer l'opinion publique en tant qu'acteurs responsables

L'outil est développé par Scott Aaronson, un professeur d'informatique directeur du Quantum Information Center de l'université du Texas à Austin. En détachement, il travaille depuis deux ans sur la sécurité (safety) à OpenAI, et a déjà plusieurs fois évoqué ces questions de watermark sur son blog.

Ses travaux auraient conduit l'un des cofondateurs d'OpenAI, John Schulman, à répertorier les avantages et inconvénients de l'outil dans un document Google partagé.

Il y précisait notamment que 69 % des utilisateurs de ChatGPT interrogés pensaient que la technologie de détection de la tricherie conduirait à de fausses accusations. Et près de 30 % déclaraient même qu'ils utiliseraient moins ChatGPT s'il déployait des filigranes alors qu'un concurrent ne le ferait pas. En avril 2023, OpenAI avait par ailleurs commandé un sondage indiquant qu'un tel outil de détection de l'IA était néanmoins soutenu par quatre personnes sur cinq.

Au début du mois de juin, les cadres supérieurs et chercheurs d'OpenAI se sont de nouveau réunis pour discuter du projet. Tout en convenant que la technologie fonctionnait bien, plusieurs auraient déclaré que l'entreprise devrait envisager d'autres approches potentiellement « moins controversées ».

Ils estimeraient aussi qu'OpenAI a besoin d'un plan « d'ici l'automne pour influencer l'opinion publique sur la transparence de l'IA ainsi que sur les nouvelles lois potentielles en la matière ». « Sans cela, nous risquons de perdre notre crédibilité en tant qu'acteurs responsables », souligne le résumé de la réunion.

L'AI Act européen exige le marquage des contenus GenAI

Cette fonctionnalité permettrait pourtant à OpenAI de se conformer au règlement sur l’intelligence artificielle (AI Act), entré en vigueur le 1er août 2024 et applicable à partir du 2 août 2026, relève Euractiv.

L’AI Act exige en effet que les fournisseurs d’intelligences artificielles génératives (GenAI) de contenus synthétiques audio, image, vidéo ou texte, indiquent s'ils ont été générés ou manipulés de manière artificielle.

« Les organisations peuvent s’y engager […] dans la mesure du possible, concevoir des systèmes d’IA générative de sorte que le contenu généré par l’IA soit marqué par des solutions techniques, telles que des filigranes et des identifiants de métadonnées », peut-on lire dans le projet de pacte sur l'IA, un ensemble d’engagements volontaires auxquels les entreprises peuvent adhérer pour se préparer à se conformer à l’AI Act.

La semaine passée, OpenAI s'était d'ailleurs engagée à respecter l’AI Act, et à travailler « en étroite collaboration » avec le nouveau bureau européen de l'IA au fur et à mesure de la mise en œuvre de la loi, « non seulement parce qu'il s'agit d'une obligation légale, mais aussi parce que l'objectif de la loi s'aligne sur notre mission de développer et de déployer une IA sûre au profit de toute l'humanité ».

À la recherche d'alternatives

Dans un billet de blog mis à jour ce dimanche suite aux révélations du WSJ, OpenAI a confirmé avoir développé un outil « très précis » permettant de rajouter un filigrane à un texte GenAI, mais aussi qu’elle « continue d’envisager des alternatives dans le cadre de sa recherche ».

Car si sa méthode de filigrane de texte « s'est révélée très précise et même efficace contre les altérations localisées, telles que la paraphrase », elle est cela dit « moins robuste contre les altérations globales, telles que l'utilisation de systèmes de traduction, la reformulation avec un autre modèle génératif ou le fait de demander au modèle d'insérer un caractère spécial entre chaque mot, puis de supprimer ce caractère – ce qui la rend facile à contourner par des acteurs malveillants ».

De plus, et « bien que le filigrane textuel ait un faible taux de faux positifs, son application à de grands volumes de texte conduirait à un grand nombre de faux positifs ». Contrairement au filigrane, l'insertion de métadonnées profite du fait qu'elles sont signées de manière cryptographique, « ce qui signifie qu'il n'y a pas de faux positifs » :

« Nous n'en sommes qu'aux premiers stades de l'exploration, il est donc trop tôt pour évaluer l'efficacité de cette approche, mais certaines caractéristiques des métadonnées la rendent particulièrement prometteuse ». 

OpenAI précise également que, à l'approche de l'élection présidentielle états-unienne, ses « équipes ont donné la priorité au lancement de solutions de provenance de contenus audiovisuels, qui sont largement considérées comme présentant des niveaux de risque plus élevés à ce stade des capacités de nos modèles ».