[MàJ] Glaze  : la solution pour contrer MidJourney et autres IA imitatrices de style d'images est disponible

[MàJ] Glaze : la solution pour contrer MidJourney et autres IA imitatrices de style d’images est disponible

faussAIre

Avatar de l'auteur

Martin Clavey

Publié dansLogiciel

16/03/2023
23
[MàJ] Glaze  : la solution pour contrer MidJourney et autres IA imitatrices de style d'images est disponible

Des chercheurs de l'Université de Chicago ont créé un outil permettant d'induire en erreur les intelligences artificielles comme MidJourney qui imitent le style des artistes après avoir été entrainées sur leurs images.

Depuis l'arrivée des générateurs d'images basés sur l'intelligence artificielle comme DALL·E, MidJourney et Stable Diffusion, de nombreux artistes s'inquiètent de leur capacité à imiter leurs styles, permettant à d'autres de se les approprier en tapant un simple descriptif, comme « une peinture dans le style de Greg Rutkowski ».

Cette utilisation d'images glanées massivement sur le web pose aussi des questions juridiques vertigineuses. Getty Images est d'ailleurs allée devant la cour de Justice de Londres pour défendre ses droits d'auteurs face à Stability AI, l'entreprise éditrice de Stable Diffusion.

Si Getty Images peut se permettre d'aller en justice, il est plus difficile pour des artistes seuls de s'imaginer se lancer dans un procès dont l'issue est actuellement incertaine. Selon Le New York Times, trois artistes ont quand même attaqué [PDF] Stability AI, Midjourney et Deviant Art, le mois dernier.

Pour permettre à ces artistes d'éviter de retrouver leur style dans la panoplie de ses outils à l'efficacité impressionnante – même si Flock a dû revoir un peu ses attentes en testant MidJourney – des chercheurs et chercheuses de l'Université de Chicago ont créé Glaze, un logiciel de « masques de style », dont ils expliquent le fonctionnement dans un article mis en ligne sur l'archive ouverte arXiv [PDF] (n'ayant pas encore passé la relecture par les pairs).

Masquer le style à l'IA et la pousser à imiter Picasso

Ben Y. Zhao et ses collègues se sont penchés sur la création de cet outil en collaborant avec plus de 1000 artistes, dont les trois artistes, Sarah Andersen, Kelly McKernan et Karla Ortiz qui ont porté plainte contre les éditeurs d'IA de ce type.

Leur idée est d'appliquer un filtre sur l'image pour créer suffisamment de bruit dans les pixels et que l'intelligence artificielle n'arrive pas à reconnaître un style particulier, et ce, en ne la dégradant pas trop pour que l'humain puisse profiter de la qualité de la création de l'auteur, et que celui-ci soit satisfait de son œuvre.

Mais ils ont aussi ajouté autre chose pour perturber un peu plus ces algorithmes transformant un texte en une image.  « Lorsqu'on demande de générer des œuvres d'art dans le style de la victime, le modèle ne parvient pas à l'imiter et produit des œuvres d'art dans un style reconnaissable différent », expliquent les chercheurs dans leur article. Glaze empêche non seulement de copier le style d'un auteur, mais pousse aussi ces algorithmes à appliquer le style d'auteurs universellement connus comme Vincent Van Gogh, Norman Bluhm ou Pablo Picasso.

Glaze

Sur Twitter, la chercheuse en intelligence artificielle Margaret Mitchell compare ce système aux vêtements qui permettent de passer outre les caméras équipées de système d'intelligence. Et effectivement, leur idée ne vient pas de nulle part. En fait, cette équipe l'avait déjà appliquée [PDF] en 2020 à la reconnaissance faciale, avec leur système nommé Fawks. Glaze est, de fait, une adaptation de cet algorithme, car Fawks ne donnait pas tout de suite satisfaction.

Pour évaluer l'efficacité de Glaze, les chercheurs ont tenu à prendre en compte les avis des artistes pour être sûrs de protéger leurs styles sans détériorer leurs œuvres. Résultat, la plupart des artistes (93 %) qui ont participé à l'étude pensent que Glaze protège bien leur style des « attaques de mimétisme de style par l'IA » et 92 % que le bruit introduit est assez faible pour ne pas troubler la qualité de leur art.

Glaze devrait être disponible gratuitement d'ici à quelques semaines en versions Mac et Windows, selon le site créé à cet effet. Les chercheurs s'y engagent à ne vendre cet outil de protection en aucun cas, expliquant qu'il a été créé dans un cadre de recherche et seulement pour protéger les artistes.

Les auteurs du logiciel ne vantent pas Glaze comme la solution ultime à ce problème et expliquent même que « malheureusement, Glaze n'est pas une solution permanente contre le mimétisme de l'IA. L'IA évolue rapidement et les systèmes comme Glaze doivent relever le défi inhérent d'être à l'épreuve du futur ».

Ils ajoutent que « Glaze n'est pas une panacée, mais un premier pas nécessaire vers des outils de protection centrés sur l'artiste pour résister à l'imitation de l'IA. Nous espérons que Glaze et les projets qui suivront offriront une certaine protection aux artistes en attendant que des efforts à plus long terme (juridiques, réglementaires) soient déployés ».

Et, en effet, on peut craindre que les éditeurs de solution d'intelligence artificielle imitant le style des artistes et les artistes eux-mêmes entrent dans une course à l'armement sans fin.

23
Avatar de l'auteur

Écrit par Martin Clavey

Tiens, en parlant de ça :

Un mélange entre une réunion d’Anonymous et de tête d’ampoules, pour le meilleur et le pire

652e édition des LIDD : Liens Intelligents Du Dimanche

Et bonne nuit les petits

00:04 Next 6
dessin de Flock

#Flock distribue des mandales tous azimuts

13:40 Flock 14
Un Sébastien transformé en lapin par Flock pour imiter le Quoi de neuf Docteur des Looney Tunes

Quoi de neuf à la rédac’ #11 et résumé de la semaine

11:47 Next 33

Sommaire de l'article

Introduction

Masquer le style à l'IA et la pousser à imiter Picasso

Un mélange entre une réunion d’Anonymous et de tête d’ampoules, pour le meilleur et le pire

652e édition des LIDD : Liens Intelligents Du Dimanche

Next 6
dessin de Flock

#Flock distribue des mandales tous azimuts

Flock 14
Un Sébastien transformé en lapin par Flock pour imiter le Quoi de neuf Docteur des Looney Tunes

Quoi de neuf à la rédac’ #11 et résumé de la semaine

Next 33
Carte graphique AMD GeForce

Cartes graphiques : 30 ans d’évolution des GPU

Hard 19

Google lance son opération de communications Gemini pour rivaliser avec OpenAI

IA 6
Ecran bleu de Windows

Linux : le composant systemd se dote d’un écran bleu de la mort

Soft 35
Une petite fille en train d'apprendre à programmer et hacker logiciels et appareils électroniques

Un roman graphique explique les logiciels libres aux enfants

SoftSociété 20
Nouveautés pour Messenger

Meta lance (enfin) le chiffrement de bout en bout de Messenger, entre autres

Socials 5

#LeBrief : cloud européen, OSIRIS-REx a frôlée la catastrophe, CPU AMD Ryzen 8040

Windows en 2024 : beaucoup d’IA, mais pas forcément un « 12 »

Soft 21
Einstein avec des qubits en arrière plan

Informatique quantique, qubits : avez-vous les bases ?

HardScience 9
Notifications iPhone

Surveillance des notifications : un sénateur américain demande la fin du secret

DroitSécu 17

En ligne, les promos foireuses restent d’actualité

DroitWeb 19

#LeBrief : modalité des amendes RGPD, cyberattaque agricole, hallucinations d’Amazon Q, 25 ans d’ISS

Logo Twitch

Citant des « coûts prohibitifs », Twitch quitte la Corée du Sud

ÉcoWeb 29
Formation aux cryptomonnaies par Binance à Pôle Emploi

Binance fait son marketing pendant des formations sur la blockchain destinées aux chômeurs

Éco 10
Consommation électrique du CERN

L’empreinte écologique CERN en 2022 : 1 215 GWh, 184 173 teqCO₂, 3 234 Ml…

Science 6
station électrique pour voitures

Voitures électriques : dans la jungle, terrible jungle, des bornes de recharge publiques

Société 76

#LeBrief : intelligence artificielle à tous les étages, fichier biométrique EURODAC

KDE Plasma 6

KDE Plasma 6 a sa première bêta, le tour des nouveautés

Soft 13
Un homme noir regarde la caméra. Sur son visage, des traits blancs suggèrent un traitement algorithmique.

AI Act et reconnaissance faciale : la France interpelée par 45 eurodéputés

DroitSociété 4
Api

La CNIL préconise l’utilisation des API pour le partage de données personnelles entre organismes

SécuSociété 3
Fouet de l’Arcep avec de la fibre

Orange sanctionnée sur la fibre : l’argumentaire de l’opérateur démonté par l’Arcep

DroitWeb 23
Bombes

Israël – Hamas : comment l’IA intensifie les attaques contre Gaza

IA 22

#LeBrief : bande-annonce GTA VI, guerre électronique, Spotify licencie massivement

Poing Dev

Le poing Dev – Round 7

Next 103
Logo de Gaia-X sour la forme d’un arbre, avec la légende : infrastructure de données en forme de réseau

Gaia-X « vit toujours » et « arrive à des étapes très concrètes »

WebSécu 7

Trois consoles portables en quelques semaines

Hard 37
Une tasse estampillée "Keep calm and carry on teaching"

Cyberrésilience : les compromis (provisoires) du trilogue européen

DroitSécu 3

#LeBrief : fuite de tests ADN 23andMe, le milliard pour Android Messages, il y a 30 ans Hubble voyait clair

next n'a pas de brief le week-end

Le Brief ne travaille pas le week-end.
C'est dur, mais c'est comme ça.
Allez donc dans une forêt lointaine,
Éloignez-vous de ce clavier pour une fois !

Commentaires (23)


the_frogkiller Abonné
Le 14/02/2023 à 16h46

Oui c’est un peut vain tout de même. Ils vont aussi installer ce genre de logiciels dans le cerveau des autres artistes ?


eglyn Abonné
Le 14/02/2023 à 18h58

Oui, ça fait un peu de la peine d’ailleurs je trouve…


Tandhruil
Le 15/02/2023 à 08h33

En dehors de quelques plagiaires, les graphistes mélangent les styles pour en créer un qui leur est propre avec un apprentissage tout au long de la vie.



Le problème de ces IA c’est qu’elles entre en concurrence directe avec les graphistes qu’elles ont plagiés.
https://actualitte.com/article/109362/interviews/l-intelligence-artificielle-represente-de-nouvelles-facons-de-creer



Sinon, pour Deviant Art, autoriser les IA à exploiter les images est de l’opt-in.


lmilcent Abonné
Le 14/02/2023 à 17h05

Ça reste le jeu du chat et de la souris, mais c’est pareil dans pleins de domaines, comme la défense et surtout la cyber (sécurité / défense / etc.)



Un premier pas est intéressant, voyons surtout combien de temps ça va résister !


Arcy Abonné
Le 14/02/2023 à 17h54

Ca reste impressionnant, dans le sens où là une IA est censée “penser” comme nous, ellz ne parvienne pas à reproduire une œuvre alors qu’on ne voit pas spécialement de différences.


auberjine Abonné
Le 15/02/2023 à 07h57

Ça marche justement parce que les générateurs d’images par diffusion (qui sont ciblés par cette contre-mesure) ne “pensent” pas du tout comme nous : ces réseaux sont entraînés à débruiter des images progressivement bruitées, ce qui leur permet après de générer des images sur commande de manière itérative à partir de bruit.
Il existe peut-être des artistes un peu farfelus qui travaillent comme ça mais ce n’est clairement pas le cas de la généralité des êtres humains :mdr:


krvm Abonné
Le 14/02/2023 à 18h44

Ça me rappelle les techniques pour faire croire à une voiture autonome qu’un panneau Stop est une limitation de vitesse :
https://spectrum.ieee.org/slight-street-sign-modifications-can-fool-machine-learning-algorithms


SebGF Abonné
Le 15/02/2023 à 06h15

Vivons heureux, vivons bariolés :yes:


vizir67 Abonné
Le 15/02/2023 à 08h17

de nombreux artistes **s’inquiètent **de leur capacité à imiter leurs styles
permettant à d’autres de se les approprier en tapant un simple descriptif
comme « une peinture dans le style de Greg Rutkowski ».



“on n’a pas fini d’être em…par cette AI.” !!!
à chaque fois ‘on découvre’ de nouvelles applications, et QUE ça pourrait, très bien, s’appliquer
à…….:reflechis:


hurd Abonné
Le 15/02/2023 à 09h35

Ça va être intéressant le futur si les IA réussissent vraiment à remplacer les humains (note j’y crois pas trop). On pourra les mettres à la poubelle. Plus sérieusement je m’interroge sur l’utilité qu’on veut de ces IA, l’art c’est pas franchement le domaine ou l’on va “libérer” le poids du travail des hommes.


vizir67 Abonné
Le 15/02/2023 à 10h22

ce qui me fait peur c’est qu’on n’a pas fini d’en faire le tour de ces ‘AI.’
on en est, encore, qu’aux balbutiements !
on ‘découvre’* à chaque fois leurs étendues (sans fin)




  • surpris :eeek2:


hurd Abonné
Le 15/02/2023 à 10h49

vizir67

ce qui me fait peur c’est qu’on n’a pas fini d’en faire le tour de ces ‘AI.’ on en est, encore, qu’aux balbutiements ! on ‘découvre’* à chaque fois leurs étendues (sans fin)

  • surpris :eeek2:

Oui après, on est pas à l’ abris d’être étonné, j’ai pas l’impression qu’il à vraiment eu de découvertes disruptives sur la question depuis un moment. Donc j’ai surtout l’impression qu’on va explorer en détail une bonne partie des possibilités actuelles et puis ensuite il est pas impossible que ça stagne sérieusement.



La question importante sur ces IA c’est de savoir si on va trouver véritablement des usages qui en justifie les moyens. Déjà dans les années 60, il y à eu le 1er système expert (Dendral) ça à été utile mais pour autant ce type d’outil est rester confidentiel.



J’imagine l’usage de ces techno comme une potentielle aide à la création sur des éléments trop complexe pour être géré “à la main”, à l’image de l’usage de la photogrammétrie dans les jeux ou le cinéma, mais je vois mal cette techno utilisé pour des choses trop simple (remplacé un développement simple par un truc généré me paraît douteux vu le rapport temps passé/risque).


OB Abonné
Le 15/02/2023 à 14h16

Un des points qui me fait “peur” c’est la quantité de données que ces IA peuvent générer. Des données qu’il faudra stocker, traiter, analyser (comparer) ,…. Pour “rien”.
A une époque où l’on sais que l’énergie et les matières premières (dont les métaux) sont de + en + rare. Ca me fait un peu penser aux bitcoins ce genre de trucs….


yannickta Abonné
Le 17/02/2023 à 18h03

Pourquoi stocker des images si tu peux en re-générer à la demande ?
La consommation d’énergie, elle est surtout concentrée sur la phase d’entraînement. A l’exploitation, il n’y a plus de gros besoin…


SebGF Abonné
Le 20/02/2023 à 06h22

yannickta

Pourquoi stocker des images si tu peux en re-générer à la demande ? La consommation d’énergie, elle est surtout concentrée sur la phase d’entraînement. A l’exploitation, il n’y a plus de gros besoin…

La reproductibilité est-elle garantie ? J’ai rarement eu plusieurs fois l’exact même résultat sur DALL-E par exemple.


Triton Abonné
Le 16/03/2023 à 14h22

SebGF

La reproductibilité est-elle garantie ? J’ai rarement eu plusieurs fois l’exact même résultat sur DALL-E par exemple.

Dans le cadre the stability.ai, j’ai vu que c’était possible via leur API.
cf. https://platform.stability.ai/docs/features/text-to-image?tab=



L’étape 4 de l’exemple python montre une graine qui peut être fixée pour la reproductibilité (et la graine est obtenue dans le résultat quand on ne la donne pas en entrée).



Apparemment, il y a des limitations avec certains paramètres dans le cas présent mais au moins on sait que c’est faisable (pas vérifié les autres mais il est probable qu’il y ait des options similaires).


SebGF Abonné
Le 16/03/2023 à 15h25

Triton

Dans le cadre the stability.ai, j’ai vu que c’était possible via leur API. cf. https://platform.stability.ai/docs/features/text-to-image?tab=

L’étape 4 de l’exemple python montre une graine qui peut être fixée pour la reproductibilité (et la graine est obtenue dans le résultat quand on ne la donne pas en entrée).

Apparemment, il y a des limitations avec certains paramètres dans le cas présent mais au moins on sait que c’est faisable (pas vérifié les autres mais il est probable qu’il y ait des options similaires).

Merci pour l’info :)


FrancoisA Abonné
Le 15/02/2023 à 14h43

Perso, je trouve que Glaze a plus de sens artistique que Monet (dans l’exemple illustré par l’article, avec p=0,1.


wagaf Abonné
Le 16/03/2023 à 14h27

Pas d’article sur GPT-4 :craint:


nouxe
Le 16/03/2023 à 18h09

J’ai lu je ne sais plus ou que glaze avais mis une licence propriétaire alors qu’ils utilisent des licences libres SANS les mentionner …


Kazer2.0 Abonné
Le 17/03/2023 à 11h09

Pour Linux, je viens de tester avec Bottles (https://usebottles.com/) et malgré des erreurs au lancement, cela fonctionne sans problème


Buoux
Le 17/03/2023 à 16h05

C’est dommage, si on s’en apercevait pas bah c’était pas grave. C’est dommage. Plutôt que d’attaquer les télécommandes avec les marques des services de streaming attaquons ceci. Pouvu que les IA arrive à être plus fort que ceci.


Erwan123 Abonné
Le 18/03/2023 à 10h29

Excellent le sous-titre…