Sur Azure OpenAI, les images générées par DALL-E ont désormais un filigrane

Microsoft a commencé l’année dernière à insérer des filigranes dans certains contenus. Le processus a démarré avec les voix générées par Azure AI Speech, présenté lors de la conférence Ignite 2023. L’éditeur passe à la vitesse supérieure avec les images générées par DALL-E dans Azure OpenAI.

Le filigrane, disponible en préversion, comporte des informations réparties dans plusieurs champs. Dans « Description », on trouve ainsi la mention « AI Generated Image ». « softwareAgent » contient la valeur « Azure OpenAI DALL-E » pour attester de sa provenance. Quant à « When », il comporte l’horodatage de la création du contenu.

Ces informations sont insérées dans un manifeste faisant partie intégrante de l’image. Ce manifeste est signé cryptographiquement par un certificat remontant jusqu’à Azure OpenAI. Le filigrane est invisible à l’œil et n’est pas altéré par des opérations comme le redimensionnement ou le recadrage.

Impossible bien sûr de ne pas penser à des techniques simples comme la capture d’écran pour récupérer le contenu sans son filigrane. Toutefois, l’objectif est d’abord d’assurer une circulation de confiance entre un nombre croissant d’acteurs.

Microsoft travaille pour rappel au sein de la Coalition for Content Provenance and Authenticity (C2PA) avec des partenaires comme Adobe, Arm, Intel, ou encore la BBC et la plateforme de vérification Truepic.

Commentaires (10)


Le filigrane ne sert pas à grand chose, vu le rendu photoréaliste médiocre de Copilot / Dall-E. On reconnait tout de suite ces images, à mi-chemin entre un dessin animé et une photo. Mes rendus sur Flux sont à des années lumières de ce que propose Copilot. On peut avoir un vrai doute sur la réalité des rendus Flux (et dans une moindre mesure Midjourney, qui est en deçà sur l'aspect photo).
Modifié le 25/09/2024 à 10h34

Historique des modifications :

Posté le 25/09/2024 à 10h33


Le filigrane ne sert pas à grand chose, vu le photo photoréaliste médiocre de Copilot / Dall-E. On reconnait tout de suite ces rendus, à mi-chemin entre dessin animé et photos. Mes rendus sur Flux sont à des années lumières de ce que propose Copilot. On peut avoir un vrai doute sur la réalité des rendus Flux, contrairement à Copilot.

Le rendu va s'améliorer.
L'IA permettra potentiellement de ne modifier que certains détails d'une vraie photo.

C'est bien qu'il soit possible de certifier ou non qu'un contenu vient d'une IA.
L'idéal serait une interface/API de validation d'images générées qu'on puisse solliciter directement depuis les navigateurs/applis.

Ca permettrait au législateurs d'imposer potentiellement l'affichage d'un avertissement sur ces contenus.

yvan

Le rendu va s'améliorer.
L'IA permettra potentiellement de ne modifier que certains détails d'une vraie photo.

C'est bien qu'il soit possible de certifier ou non qu'un contenu vient d'une IA.
L'idéal serait une interface/API de validation d'images générées qu'on puisse solliciter directement depuis les navigateurs/applis.

Ca permettrait au législateurs d'imposer potentiellement l'affichage d'un avertissement sur ces contenus.
L'IA permettra potentiellement de ne modifier que certains détails d'une vraie photo.


C'est déjà possible de faire ça avec Stable Diffusion par exemple en in paint.

yvan

Le rendu va s'améliorer.
L'IA permettra potentiellement de ne modifier que certains détails d'une vraie photo.

C'est bien qu'il soit possible de certifier ou non qu'un contenu vient d'une IA.
L'idéal serait une interface/API de validation d'images générées qu'on puisse solliciter directement depuis les navigateurs/applis.

Ca permettrait au législateurs d'imposer potentiellement l'affichage d'un avertissement sur ces contenus.
C'est bien qu'il soit possible de certifier ou non qu'un contenu vient d'une IA.


Je ne suis pas bien sûr de ce que tu veux dire vu l'ordre des mots de ta phrase.
Voulais-tu dire : "C'est bien qu'il soit possible de certifier qu'un contenu vient ou non d'une IA." ?

Le but recherché est que les images générées ne soient pas utilisées pour nuire (deep fake, fake news, etc.) mais tous les systèmes d'IA ne mettront pas l'info, entre autre les systèmes que l'on peut faire tourner chez soi et qui sont libres. En plus, il sera toujours possible de supprimer ces filigranes numériques en générant une autre image quitte à passer en bitmap avant de réencoder (c'est mieux qu'une copie d'écran qui ne se fait pas à la même résolution).
Il est évident que ce qui veulent nuire utiliseront ces solutions pour éviter ces filigranes et c'est automatisable.

On aura donc des images générées par IA qui permettront de savoir qu'elles l'ont été et d'autres qui ne le diront pas. Sur ces dernières, on ne saura rien de sûr sur leur génération.
On ne pourra pas certifier que des images ne sont pas générées par IA.

Ces procédés sont donc ridicules parce qu'ils donnent une fausse impression de sécurité.

fred42

C'est bien qu'il soit possible de certifier ou non qu'un contenu vient d'une IA.


Je ne suis pas bien sûr de ce que tu veux dire vu l'ordre des mots de ta phrase.
Voulais-tu dire : "C'est bien qu'il soit possible de certifier qu'un contenu vient ou non d'une IA." ?

Le but recherché est que les images générées ne soient pas utilisées pour nuire (deep fake, fake news, etc.) mais tous les systèmes d'IA ne mettront pas l'info, entre autre les systèmes que l'on peut faire tourner chez soi et qui sont libres. En plus, il sera toujours possible de supprimer ces filigranes numériques en générant une autre image quitte à passer en bitmap avant de réencoder (c'est mieux qu'une copie d'écran qui ne se fait pas à la même résolution).
Il est évident que ce qui veulent nuire utiliseront ces solutions pour éviter ces filigranes et c'est automatisable.

On aura donc des images générées par IA qui permettront de savoir qu'elles l'ont été et d'autres qui ne le diront pas. Sur ces dernières, on ne saura rien de sûr sur leur génération.
On ne pourra pas certifier que des images ne sont pas générées par IA.

Ces procédés sont donc ridicules parce qu'ils donnent une fausse impression de sécurité.
[quote]Je ne suis pas bien sûr de ce que tu veux dire vu l'ordre des mots de ta phrase.
Voulais-tu dire : "C'est bien qu'il soit possible de certifier qu'un contenu vient ou non d'une IA." ?[/quote]
Oui
Modifié le 26/09/2024 à 14h05

Historique des modifications :

Posté le 26/09/2024 à 13h57


[quote]Je ne suis pas bien sûr de ce que tu veux dire vu l'ordre des mots de ta phrase.
Voulais-tu dire : "C'est bien qu'il soit possible de certifier qu'un contenu vient ou non d'une IA." ?[/quote]
Oui

Posté le 26/09/2024 à 13h58


Je ne suis pas bien sûr de ce que tu veux dire vu l'ordre des mots de ta phrase.
Voulais-tu dire : "C'est bien qu'il soit possible de certifier qu'un contenu vient ou non d'une IA." ?
Oui

Posté le 26/09/2024 à 14h05


[quote]Je ne suis pas bien sûr de ce que tu veux dire vu l'ordre des mots de ta phrase.
Voulais-tu dire : "C'est bien qu'il soit possible de certifier qu'un contenu vient ou non d'une IA." ?[/quote]
Oui

Posté le 26/09/2024 à 14h05


[quote]Je ne suis pas bien sûr de ce que tu veux dire vu l'ordre des mots de ta phrase.
Voulais-tu dire : "C'est bien qu'il soit possible de certifier qu'un contenu vient ou non d'une IA." ?[/quote]
Oui

Si c’est un filigrane et qu’il est suffisamment bien implémenté alors je ne comprends pas comment une capture d’écran pourrait l’altérer ?
C'est un filigrane numérique (stéganographie) qui modifie de façon imperceptible pour l'œil l'image. Il faut un outil logiciel pour lire les infos codées.
Généralement, une image comporte plus de points qu'affichés à l'écran. Faire une copie d'écran, donc d'une bitmap plus petite va perdre l'information qui était codée dans le codage jpeg de l'image. J'aurais tendance à dire que même à résolution identique, le fait de recompresser l'image (en jpeg par exemple) avec de paramètres différents de la compression initiale va aussi faire disparaître le contenu du filigrane.

fred42

C'est un filigrane numérique (stéganographie) qui modifie de façon imperceptible pour l'œil l'image. Il faut un outil logiciel pour lire les infos codées.
Généralement, une image comporte plus de points qu'affichés à l'écran. Faire une copie d'écran, donc d'une bitmap plus petite va perdre l'information qui était codée dans le codage jpeg de l'image. J'aurais tendance à dire que même à résolution identique, le fait de recompresser l'image (en jpeg par exemple) avec de paramètres différents de la compression initiale va aussi faire disparaître le contenu du filigrane.
Je ne sais pas ce qu'il en est de la techno utilisée par Microsoft, mais Google affirme que sa technologie SynthID résiste à l'ajout de filtres, aux changements de couleurs ou de luminosité, à divers systèmes de compression à perte dont celui du JPEG, au recadrage et a priori au redimensionnement. Dans le cas de la vidéo, il résiste aussi au changement de framerate.

Liam

Je ne sais pas ce qu'il en est de la techno utilisée par Microsoft, mais Google affirme que sa technologie SynthID résiste à l'ajout de filtres, aux changements de couleurs ou de luminosité, à divers systèmes de compression à perte dont celui du JPEG, au recadrage et a priori au redimensionnement. Dans le cas de la vidéo, il résiste aussi au changement de framerate.
Personnellement je trouve que le "plus simple" serait de généraliser le manifeste/Certificat pour toutes les images (même celles prise personnellement) pour au moins "prouver" l'auteur originale et se dire si une image n'en a pas : Il y a potentiellement un loup.

Avec les techniques de reconnaissance d'image actuel, ça ne devrait pas être complexe de retracer l'origine d'une image si déjà tous les "pro" enregistré/certifié leurs images sur différentes BDD de certification.
Ainsi tous les GAFAM pourrait déjà récupérer directement l'origine/la source de chaque fichier pour l'afficher...(ils le font déjà très bien pour les ayant-droit en photo comme en vidéo, à peine posté sur youtube, la moindre image/musique va t'afficher directement le possédant des droits).
Modifié le 26/09/2024 à 13h29

Historique des modifications :

Posté le 26/09/2024 à 13h28


Personnellement je trouve que le "plus simple" serait de généraliser le manifeste/Certificat pour toutes les images (même celles prise personnellement) pour au moins "prouver" l'auteur originale et se dire si une image n'en a pas : Il y a potentiellement un loup.

Avec les techniques de reconnaissance d'image actuel, ça ne devrait pas être complexe de retracer l'origine d'une image si déjà tous les "pro" enregistré/certifié leurs images sur différentes BDD de certification.
Ainsi tous les GAFAM pourrait déjà récupérer directement l'origine/la source de chaque fichier pour l'afficher...(ils le font déjà très bien pour les ayant-droit en photo comme en vidéo).

Sur Google, les photos de champignons générées par IA font courir de vrais dangers (Courrier International, 29/09/24)

« Le problème, c’est que Google fait remonter cette image de champignon générée par IA sans préciser qu’elle l’est, alors que la banque d’images Freepik d’où elle est issue, elle, “l’indique clairement comme telle”. »
Fermer