Des chercheurs de l'Université de Chicago ont créé un outil permettant d'induire en erreur les intelligences artificielles comme MidJourney qui imitent le style des artistes après avoir été entrainées sur leurs images.

Depuis l'arrivée des générateurs d'images basés sur l'intelligence artificielle comme DALL·E, MidJourney et Stable Diffusion, de nombreux artistes s'inquiètent de leur capacité à imiter leurs styles, permettant à d'autres de se les approprier en tapant un simple descriptif, comme « une peinture dans le style de Greg Rutkowski ».

Cette utilisation d'images glanées massivement sur le web pose aussi des questions juridiques vertigineuses. Getty Images est d'ailleurs allée devant la cour de Justice de Londres pour défendre ses droits d'auteurs face à Stability AI, l'entreprise éditrice de Stable Diffusion.

Si Getty Images peut se permettre d'aller en justice, il est plus difficile pour des artistes seuls de s'imaginer se lancer dans un procès dont l'issue est actuellement incertaine. Selon Le New York Times, trois artistes ont quand même attaqué [PDF] Stability AI, Midjourney et Deviant Art, le mois dernier.

Pour permettre à ces artistes d'éviter de retrouver leur style dans la panoplie de ses outils à l'efficacité impressionnante – même si Flock a dû revoir un peu ses attentes en testant MidJourney – des chercheurs et chercheuses de l'Université de Chicago ont créé Glaze, un logiciel de « masques de style », dont ils expliquent le fonctionnement dans un article mis en ligne sur l'archive ouverte arXiv [PDF] (n'ayant pas encore passé la relecture par les pairs).

• DALL·E 2 génère des images à partir d’un texte : un résultat bluffant, des défis juridiques
• Getty poursuit un éditeur d’algorithme en justice pour violation des droits d’auteurs
• Dans les coulisses de la mini-BD dystopique de Flock, « propulsée » par Midjourney

Masquer le style à l'IA et la pousser à imiter Picasso

Ben Y. Zhao et ses collègues se sont penchés sur la création de cet outil en collaborant avec plus de 1000 artistes, dont les trois artistes, Sarah Andersen, Kelly McKernan et Karla Ortiz qui ont porté plainte contre les éditeurs d'IA de ce type.

Leur idée est d'appliquer un filtre sur l'image pour créer suffisamment de bruit dans les pixels et que l'intelligence artificielle n'arrive pas à reconnaître un style particulier, et ce, en ne la dégradant pas trop pour que l'humain puisse profiter de la qualité de la création de l'auteur, et que celui-ci soit satisfait de son œuvre.

Mais ils ont aussi ajouté autre chose pour perturber un peu plus ces algorithmes transformant un texte en une image.  « Lorsqu'on demande de générer des œuvres d'art dans le style de la victime, le modèle ne parvient pas à l'imiter et produit des œuvres d'art dans un style reconnaissable différent », expliquent les chercheurs dans leur article. Glaze empêche non seulement de copier le style d'un auteur, mais pousse aussi ces algorithmes à appliquer le style d'auteurs universellement connus comme Vincent Van Gogh, Norman Bluhm ou Pablo Picasso.

Sur Twitter, la chercheuse en intelligence artificielle Margaret Mitchell compare ce système aux vêtements qui permettent de passer outre les caméras équipées de système d'intelligence. Et effectivement, leur idée ne vient pas de nulle part. En fait, cette équipe l'avait déjà appliquée [PDF] en 2020 à la reconnaissance faciale, avec leur système nommé Fawks. Glaze est, de fait, une adaptation de cet algorithme, car Fawks ne donnait pas tout de suite satisfaction.

Pour évaluer l'efficacité de Glaze, les chercheurs ont tenu à prendre en compte les avis des artistes pour être sûrs de protéger leurs styles sans détériorer leurs œuvres. Résultat, la plupart des artistes (93 %) qui ont participé à l'étude pensent que Glaze protège bien leur style des « attaques de mimétisme de style par l'IA » et 92 % que le bruit introduit est assez faible pour ne pas troubler la qualité de leur art.

Glaze devrait être disponible gratuitement d'ici à quelques semaines en versions Mac et Windows, selon le site créé à cet effet. Les chercheurs s'y engagent à ne vendre cet outil de protection en aucun cas, expliquant qu'il a été créé dans un cadre de recherche et seulement pour protéger les artistes.

Les auteurs du logiciel ne vantent pas Glaze comme la solution ultime à ce problème et expliquent même que « malheureusement, Glaze n'est pas une solution permanente contre le mimétisme de l'IA. L'IA évolue rapidement et les systèmes comme Glaze doivent relever le défi inhérent d'être à l'épreuve du futur ».

Ils ajoutent que « Glaze n'est pas une panacée, mais un premier pas nécessaire vers des outils de protection centrés sur l'artiste pour résister à l'imitation de l'IA. Nous espérons que Glaze et les projets qui suivront offriront une certaine protection aux artistes en attendant que des efforts à plus long terme (juridiques, réglementaires) soient déployés ».

Et, en effet, on peut craindre que les éditeurs de solution d'intelligence artificielle imitant le style des artistes et les artistes eux-mêmes entrent dans une course à l'armement sans fin.