Connexion Premium

Anthropic va tatouer les textes et les images générés par Claude

Inked

Anthropic va tatouer les textes et les images générés par Claude

Illustration : Flock

Anthropic va appliquer des watermarks sur les contenus générés par Claude, ce qui permettra de les repérer plus facilement. Cet engagement est aussi une obligation réglementaire en vertu de l’AI Act européen.

Depuis le 2 août dans l’UE, les fournisseurs d’IA générative doivent intégrer un marquage technique de détection dans les images, les sons, les vidéos ou les textes générés ou manipulés par IA. C’est le sens de l’article 50 de l’AI Act. Il y a des exceptions importantes : quand le contenu généré par IA a fait l’objet d’un examen humain ou d’un contrôle éditorial, le tatouage n’est pas nécessaire.

Cette obligation ne concerne aussi que les modèles d’IA commercialisés après la date du 2 août ; pour les modèles déjà disponibles, un sursis de 4 mois – jusqu’au 2 décembre – a été accordé. Mais, quoi qu’il en soit, les fournisseurs d’IA doivent plancher sur des systèmes de marquage des contenus générés par leurs services.

Un double dispositif de marquage

Anthropic a dévoilé son plan de match, en tant que fournisseur et comme signataire du code de pratique sur la transparence des contenus générés par IA. L’adhésion à ce code est volontaire, mais de toute manière les exigences de transparence prévues à l’article 50 constituent des obligations légales.

Deux mécanismes sont mis en œuvre sur les modèles lancés après le 2 août (Anthropic indique travailler sur un watermark pour les contenus générés avec les modèles disponibles avant cette date). Le premier concerne le texte, qui contient une marque statistique invisible. Elle ne se voit pas à la lecture, elle ne change pas le sens du texte, et elle reste intégrée au texte ; par conséquent, un copier/coller conservera la marque.

Le deuxième dispositif touche les fichiers générés ou traités par Claude, comme les images au format SVG, PNG ou JPG. Le modèle ajoute des métadonnées de provenance signées selon le standard ouvert Content Credentials de la C2PA (Coalition for Content Provenance and Authenticity). Si de telles métadonnées sont présentes dans un fichier, cela signifie qu’il a été traité par Claude.

Google utilise de son côté SynthID, un filigrane invisible développé par DeepMind. Ce signal est directement intégré dans le contenu, ce n’est pas une métadonnée. Par conséquent, il est possible de combiner SynthID avec Content Credentials : c’est d’ailleurs le choix d’OpenAI pour ses outils de génération d’images. Anthropic donne malheureusement très peu de détails techniques sur son marquage, que ce soit pour les fichiers ou le texte.

Il y a des limites à l’exercice. Anthropic explique ainsi qu’un texte généré par Claude peut ne pas présenter de tatouage s’il a été « fortement modifié, paraphrasé, traduit ou mélangé à d’autres écrits », si le passage est très court (trop peu de texte pour obtenir un signal fiable), si les métadonnées ont été supprimées après une conversion de format, une capture d’écran ou un nouvel enregistrement.

Logiquement, le texte n’aura pas de marquage s’il a été généré par un modèle ne prenant pas en charge le tatouage numérique. Par ailleurs, si un contenu ne présente aucun marquage, cela ne veut pas dire pour autant qu’il n’a pas été généré ou modifié par une IA.

Marquage au fer rouge

Anthropic ne précise pas la technologie utilisée pour tatouer le texte, mais le marquage d’un tel contenu repose généralement sur un algorithme qui influence discrètement les choix de mots ou de tokens du modèle. Cela produit un motif statistique détectable qui peut signaler qu’un texte a été généré ou traité par un système d’IA.

L’entreprise prévient aussi que la présence d’une marque ne confirme pas la provenance d’un contenu. Claude peut ne pas être « l’auteur » d’origine : le modèle peut servir à relire, traduire, résumer ou convertir des fichiers. Le résultat porte un tatouage Anthropic, mais les idées ou les données peuvent provenir d’une autre source. De même, un contenu marqué peut être modifié, extrait ou combiné avec d’autres éléments après son traitement par Claude.

Il ne reste plus qu’une chose à mettre en place : un outil de détection des marques de Claude. Anthropic n’a rien à proposer, ce qui annule tout l’intérêt de cette annonce – pour le moment. L’entreprise planche en effet sur le sujet pour « permettre aux utilisateurs et aux tierces parties de détecter les watermarks intégrés et les métadonnées ». Une documentation technique sur les mécanismes de détection est en préparation. Pour les fichiers contenant un marquage C2PA, des outils sont déjà disponibles comme celui-ci pour détecter des Content Credentials, ou encore celui-là d’OpenAI.

Si l’AI Act a une portée européenne, Anthropic précise que ces marquages seront intégrés partout où les modèles Claude sont utilisés (le chatbot Claude, l’API, Claude Code, Cowork et Tag), dans le monde entier.

Commentaires (17)

votre avatar
bÓNNę ʼnöÜvĒĿĿë !
votre avatar
C'est donc ça la watermark Claude ? Remarque c'est facile à repérer
votre avatar
Cela Laisse Aussi Une Dérive Evidente : un contenu peut être marqué sans que cela permette d’en établir la véritable origine. Je me demande concrètement comment ces marqueurs vont s'appliquer.
votre avatar
C'est ridicule tellement les débats sur ces méthodes ont montré que le watermark ne servait à rien ou a pas grand chose face a une personne motivé. Pas 10... 1 personne.

Les méthodes :

  • Image & vidéo / Cropping si le tatouage est sur un bord de l'image.

  • Image & vidéo / Outil dédié qui enlève la marque automatiquement.

  • Son / Outil dédié qui enlève la fréquence camouflée

  • Autre fichier / Outil dédié au nettoyage des métadonnées, manifeste et autres espaces dédiés.



Donc en gros tout ce petit monde a refusé de mettre en place des systèmes permettant de protéger le droit d'auteur depuis les fichiers (autres méthode que le watermark). Au moins pour la propriété de l'auteur. On ne parlait même pas de droits; juste l'auteur. En accompagnant la chose d'un engagement sérieux des parties prenantes (Tout logiciel d'édition de fichier etc). Imparfait, oui, mais au moins présent.

Pour maintenant sous prétexte d'une quelconque dangerosité (ingérence nous voila, célérusses), de marquer ces contenus fabriqués à partir du pillage des données et des œuvres humaines qu'on a pas su protéger.

Tout va bien. Juste... poses la pipe à crack.


Ça c'est le premier problème. Il y a :


  • Qui empêchera un pays belliqueux de faire ses propres modèles pour faire de la vidéo fake et continuer comme avant ?

  • Pour le texte, le marquage décrit dans l'article ne fonctionne pas. A moins de prendre de grandes portions de texte. Et encore la fiabilité dépendra aussi du sujet traité. Comme Anthropic le suggère.


etc.

Au moins le ridicule ne tue pas.

Violon, jet de pisse... Alignement parfait.
votre avatar
fabriqués à partir du pillage des données et des œuvres humaines qu'on a pas su protéger.
Je vais oser me permettre de ne pas être totalement d'accord sur ce point. C'est bien évidemment un fait que les IA ont été entraînées sans donner de contrepartie aux auteurs des textes pillés.

Mais même dans un monde utopique où les IA ont rémunéré les auteurs à une juste valeur et attribué correctement la paternité d'une oeuvre, elles auront rendu extrêmement aisée la génération de contenus discutables, et on continuera à être abreuvé de textes prétendument attribués à Abraham Lincoln, Lao Tseu ou Gandhi qui dénoncent les agissement de Big Pharma.

Ce sont deux problèmes bien réels, mais totalement orthogonaux entre eux.
votre avatar
Et moi je ne suis pas d'accord :
Pour maintenant sous prétexte d'une quelconque dangerosité (ingérence nous voila, célérusses), de marquer ces contenus fabriqués à partir du pillage des données et des œuvres humaines qu'on a pas su protéger.
Il manque un Céléchinois.
votre avatar
Si pour une image, c'est un calque fusionné, ca rest tout même compliqué.
votre avatar
on ne parle pas forcément de watermark au sens visible, ça peut aussi être invisible dans l'image (modification subtile de la couleur de certains pixels, là on est plus proche de la crypto).

Pour un watermark façon logo de chaine de TV (ou banque d'image), c'est assez simple : tu encodes une images blanc puis noir, tu peux regénérer le calque de marquage.
Une fois que t'as le calque il suffit de le soustraire (c'est une fonction standard de gimp /photoshop) ça peut se faire en masse...

La stéganographie illustre bien le principe : fr.wikipedia.org Wikipedia le secret c'est l'algo utilisé
votre avatar
Je suis intéressé par le fait de tatouer des textes "par un choix subtil de mots" pour la génération de code.

Notamment, comment vais-je pouvoir savoir si le code APL ou Malebolge que je lis est généré par une IA ???

Nb : pour COBOL j'imagine sans peine que c'est facile, plus aucun humain n'écrirait


IDENTIFICATION DIVISION.
PROGRAM-ID. ABC.
AUTHOR. CLAUDE-CODE.

77 SOME-DATA PICTURE IS 99999 USAGE IS NUMERIC-3.

SUBTRACT 1 FROM SOME-DATA GIVING SOME-OTHER-DATA
ON RANGE ERROR ERASE PROGRAM AND CATCH FIRE.


Mais quand j'étais à l'université, j'avais écrit un petit script qui reformatait mon COBOL en mode verbeux avant de le soumettre au prof... (dont le prénom était prédestiné : Claude).
votre avatar
"Madame, j'ai fait une recherche Cobol sur internet, j'ai un eu des trucs bizarres !"
"T'as cherché quoi ?"
"PIC XXX"
votre avatar
Marquage proposés :
int claudeIsTheBest = 42
bool fearMythos = true
...

Discrètement 😅
votre avatar
Mon Dieu, du COBOL :eeek2:
Pas vu ça depuis la première année d'IUT où j'ai décidé que je ne ferai JAMAIS de COBOL.
Et je m'y tiens toujours plus de 30 ans plus tard !
votre avatar
Je n'ai jamais eu besoin d'écrire du COBOL professionnellement, mais par contre j'y ai été confronté car nos produits (middleware) en C devaient s'interfacer avec des mainframes. Les messages échangés avec le mainframe avaient deux formats, un format où les champs ont une longueur fixe (quand le mainframe utilisait COBOL) ou un format délimité (quand le mainframe utilisait MUMPS).

Depuis, c'est moi qui fais du MUMPS :frown:
votre avatar
Courage...
D'un autre côté il y a tellement de pénurie de compétences sur Mainframe que c'est un marché porteur je pense. Il y a beaucoup de départ à la retraite qui arrivent et peu de vocation.
Les jeunes, à bon entendeur :D
votre avatar
Ce qu'il y a de "rigolo" avec tout ça, c'est que comme on risque fort d'avoir une grosse proportion du contenu d'Internet qui proviendra des IAs dans quelques années, les entraînements des modèles futurs se feronts sur des textes et images intégrant ces systèmes de watermarking, donc statistiquement ils feront "comme les données" et intégreront naturellement les watermarks dans leur résultat (avec une potentielle dégradation de la qualité, du coup).
Pour les images, ça va probablement que "réduire" la qualité, mais pour le texte, ça poirrait de plus en plus faire dériver le discours vers un discours "watermarké". J'ai hâte de voir ce que ça peut donner. Ah oui, vraiment, vivement plus tard...
votre avatar
Un professeur d'université piège ses élèves afin de voir s'ils rendent leur travail en utilisant l'IA : 32 sur 35 tombent dans le piège
Dans le Mississippi, Jason Gibson, professeur d'histoire, est parvenu à piéger pratiquement tous ses élèves grâce au mot "Madagascar".
votre avatar
ça pourrait arrivé en cas de distillation également j'imagine...