Connexion
Abonnez-vous

Un ingénieur de Microsoft alerte sur les images violentes générées par Copilot Designer

Un ingénieur de Microsoft alerte sur les images violentes générées par Copilot Designer

Le 07 mars à 06h35

L'ingénieur Shane Jones, qui travaille sur les intelligences artificielles de Microsoft depuis six ans, a envoyé [PDF] ce mercredi 6 mars une lettre ouverte à la Federal Trade Commission (FTC) ainsi qu'une autre au Conseil d'administration de Microsoft pour leur faire part de ses préoccupations concernant l'IA générative d'image de l'entreprise, explique CNBC.

Le média américain raconte que l'ingénieur qui appartient à la « red team » testant Copilot Designer est devenu malade en voyant les images générées. L'ingénieur a vu l'IA associer des démons et des monstres à une terminologie sur les droits à l'avortement, mais aussi « des adolescents armés de fusils d'assaut, des images sexualisées de femmes dans des tableaux violents, la consommation d'alcool et de drogues par des mineurs ». Le média a pu recréer ces scènes avec l'outil.

Shane Jones ne travaille pas sur l'outil en question, mais teste sur son temps libre l'outil en tant que membre de la « red team » de l'entreprise. Il aurait signalé les problèmes en interne en décembre mais l'entreprise n'aurait pas voulu retirer le produit. Il a déclaré à CNBC que Microsoft l'aurait réorienté vers OpenAI mais que la startup ne lui a pas répondu.

Il a alors publié une lettre ouverte sur LinkedIn demandant à OpenAI de retirer Dall-E 3 du marché, mais le département juridique de Microsoft lui a demandé de la retirer, ce qu'il a fait.

Finalement, il s'est résolu à signaler le problème aux autorités compétentes : « je demande à la FTC de contribuer à informer le public sur les risques liés à l'utilisation de Copilot Designer. Ceci est particulièrement important pour les parents et les enseignants qui pourraient recommander à leurs enfants d'utiliser Copilot Designer pour des projets scolaires ou à d'autres fins éducatives », écrit-il dans sa lettre.

Le 07 mars à 06h35

Commentaires (35)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
Ceci est particulièrement important pour les parents et les enseignants qui pourraient recommander à leurs enfants d'utiliser Copilot Designer pour des projets scolaires ou à d'autres fins éducatives
Ben, peut-être qu'on devrait commencer par considérer que ce ne sont pas des outils fait pour les enfants ? Les adultes ont déjà bien du mal à comprendre que l'IA générative fait des erreurs (et non peut faire) et donc que le contenu produit doit être sujet à analyse critique avant de l'exploiter.

Mettre ça entre les mains d'un gamin qui n'a aucun recul, c'est stupide.
votre avatar
Pas mieux !
Le pire dans l'affaire c'est la demande du service juridique ... :keskidit:

Visiblement, CoPilot doit sortir contre vents et marées, prêt ou pas, avec sous sans âge minimum et surtout le plus vite possible avant qu'il y ait un cadre juridique sur le sujet.

MS n'a pas un comportement responsable avec cette technologie nouvelle où le champ du possible est bien compliqué à périmètrer.
votre avatar
"MS n'a pas un comportement responsable"
Tu pouvais arrêter ta phrase dès cet instant. xd
votre avatar
"Mettre ça entre les mains d'un gamin qui n'a aucun recul, c'est stupide."

Qui met cela entre les mains d'un gamin ? Le créateur de l'outil qui ne controle rien ou un parent qui ne sait même pas de quoi il s'agit ?

C'est bien mal connaitre la jeunesse que de croire que les parents savent tout de ce que font les pré ados par exemple.

A croire que certains ont oublié leur propre jeunesse et leur rapport avec leurs parents.
votre avatar
"Ceci est particulièrement important pour les parents et les enseignants qui pourraient recommander à leurs enfants d'utiliser Copilot Designer pour des projets scolaires ou à d'autres fins éducatives"
votre avatar
Clair que les élèves actuels ont attendu l'avis d'un adulte pour s'approprier les nouveaux outils.
votre avatar
Belle confirmation que ton objectif est de faire du hors sujet.
votre avatar
Quel hors sujet ?

Personne n'a répondu à ma question initiale

"Mettre ça entre les mains d'un gamin qui n'a aucun recul, c'est stupide."

Qui met cela entre les mains d'un gamin ? Le créateur de l'outil qui ne controle rien ou un parent qui ne sait même pas de quoi il s'agit ?

Cette faculté de dédouaner les concepteurs d'IA pour mettre l'entière responsabilité sur les utilisateurs est assez fascinante.

Edit: ce que l'ingénieur dit c'est: que c'est à Microsoft de prévenir que ce n'est pas à mettre entre toutes les mains. Ce que vous dites c'est: ce n'est pas de la faute à Microsoft si les utilisateurs ne sont pas capables de se rendre compte par eux mêmes que l'outil n'est pas à mettre entre toutes les mains.
votre avatar
ce que l'ingénieur dit c'est: que c'est à Microsoft de prévenir que ce n'est pas à mettre entre toutes les mains.
Non.
Il a d'abord dit à Microsoft puis OpenAI qu'il fallait retirer le produit.
Et maintenant, il dit que c'est à la FTC de "contribuer à informer le public sur les risques liés à l'utilisation de Copilot Designer. Ceci est particulièrement important pour les parents et les enseignants qui pourraient recommander à leurs enfants d'utiliser Copilot Designer pour des projets scolaires ou à d'autres fins éducatives" Donc, à la FTC de communiquer et aux parents et aux enseignants de ne pas recommander le produit aux enfants.
votre avatar
Avant de sauter à la gorge et balancer des jugements, merci de lire mon message. Tu y remarqueras que je cite un élément de l'article qui est lui-même une citation de la lettre de l'ingénieur en question.
votre avatar
Clair: quelle violence dans mon commentaire.

Je m'en excuse par avance.
votre avatar
Je teste à titre perso l'outil Designer de Microsoft depuis deux jours et j'ai aussi observé des biais quasi-systématiques. Je me suis notamment rendu compte que les femmes représentées avaient un physique s'apparentant à un physique anorexique (ou du moins extrêmement proche, voire trop).
votre avatar
(Sans nier ton propos car je nai pas tester)
Attention toutefois à l'effet halo

Dans le meme esprit , Je pense aussi à certains qui disaient que bing était moins pertinent que Google... d'autres ont émis l'hypothèse que on avait le cerveau tellement formaté à faire une requête optimisée pour google que la même même requête sur Bing ne peut être que moins bonne
votre avatar
Je suis dubitatif sur les prompts utilisés.
Quelles sont les intentions d'une personne qui veut mettre en image une "terminologie sur les droits à l'avortement" ?
Quels prompts (et quelles intentions) pour les autres exemples qui ont produit des images d'"adolescents armés de fusils d'assaut, des images sexualisées de femmes dans des tableaux violents, la consommation d'alcool et de drogues par des mineurs" ?

J'ai l'impression d'un n-ième procès à l'américaine "l'outil ne m'a pas empêché de faire la connerie que je voulais faire" :(
votre avatar
Je vois ce que tu veux dire ... mais n moment dans la chaîne humaine, il faut bien un maillon à l'esprit responsable pour éviter ce genre de dérives.

Refiler un outil sans garde-fous à des irresponsables ne peut que générer des problèmes. C'est du niveau « idiocracy »
votre avatar
On a souvent le débat ici.
Mais qui est l'esprit responsable ? Comment est il contrôlé ?
Est-ce à Microsoft de s'automodérer mais qui surbloquera forcément pour éviter les ennuis (comme ici), ou doit-on s'en remettre à la loi et son inertie, ou à la justice déjà saturée ?
On rejoint les mêmes débats sur la vidéosurveillance/protection, sur la modération des contenus ou sur les DNS menteurs pour bloquer des sites jugées illégaux par l'autorité locale.

Un mineur avec des armes lourdes ? Je comprends que ça puisse choquer mais ça existe, on fait même des armes qui ressemblent à des jouets dans certains états (et je ne parle pas des situations de guerre).
Du coup, on limite ou pas, et si oui comment ?

Surtout si l'image est cohérente par rapport au prompt.
votre avatar
"Un mineur avec des armes lourdes ? Je comprends que ça puisse choquer mais ça existe, (...)"

Prompt : fabrique moi une image d'illustration pour mon article de journal sur les enfants soldats.

Ou sur une fusillade dans un lycée américain.

C'est tout à fait légitime comme requête.
votre avatar
À la fois, si on part de ce principe,
-> on interdit les couteaux (ou on écrit dessus "les couteaux tuent")
-> on interdit les voitures, perceuses ....
Et aussi les éditeurs de code parce que ils n'ont pas de garde-fou et que l'on peut écrire du code malicieux avec
votre avatar
Pour quel objectif je dirais ?
Est ce que les produits finaux peuvent être mis entre toutes les mains ?
L'utilisateur final doit il être dégagé de toutes responsabilité ? (Chez Apple, c'est ce qu'il se passe)

Est ce que MS se rend compte de l'aspect boite de pandore de copilot ? Le paramètre nature humaine est l'un des plus difficiles à gérer voire le plus difficile. Quand on voit la quantité de code nécessaire pour le contrôle de saisie.
votre avatar
Le gars fait partie de la "Red Team" d'une équipe de pentest.
C'est leurs boulot de chercher des failles dans l'outil, forcement ils essaient faire sortir des truc hardcore / qui n'ont pas lieu d'être à l'outils.
votre avatar
Je me suis fait la même réflexion.
D'autant plus que l'article ne rappelle pas ce que c'est le concept de "red team", mais vu la définition ça veut probablement dire que le gars a volontairement fait tout son possible pour abuser l'outil.

Du coup le gars qui fait de son mieux pour feinter les garde-fous, et après qui pleure en disant que ça l'a rendu "malade"... voilà quoi.

Si le gars fait des requêtes innocentes et qu'il reçoit des résultats inappropriés, il a raison de se plaindre, mais si la requête de base était malsaine, c'est normal qu'il ait un résultat malsain.

Et je vais aussi aller à l'encontre des commentaires qui s'offusquent du fait que MS mette un outil capable de produire des résultats pareil.
Je ne pense pas que ces outils doivent être censurés et castrés jusqu'à donner un outil qui pourrait avoir un logo Disney tellement c'est aseptisé.
Par contre il faut mettre un filtrage d'avertissement. Si la requête et/ou le résultat peut heurter des sensibilités, il faut mettre un avertissement pour prévenir les mineurs et âmes sensible de fermer leur onglet, et après chacun prends ses responsabilités.
votre avatar
Il faudrait aussi mettre un filtre sur les photos de mineurs AK47isés qui font le chouf aux pieds des cités de Marseille et autres villes ?
Ah bah zut, çà n'a pas été généré par une AI.. :(
votre avatar
Je comprends pas le but de ton commentaire.

Tu penses vraiment que j'ai une dissonance cognitive entre le fait que l'image soit produite par une IA, qu'elle soit le résultat d'une recherche d'image dans un moteur de recherche, qu'elle soit l'image d'illustration d'un article de presse, ou même que ça soit la réalité que je croise au coin de la rue ?

J'ai le même avis pour tous les cas. Il y a beaucoup de choses horribles à voir dans ce monde, et tout le monde n'est pas prêt à tout voir.

Donc c'est important que si un enfant fasse une génération d'image sur "citrons qui font la fête", il n'ait pas en résultat un remake de "lemon party" (une image célèbre avec 3 vieux entrain de niquer).

Mais par contre si un adolescent doit rédiger un exposé sur le sujet des enfants soldats exploités dans certaines zones de conflit et qu'il veut des images d'illustration pour son exposé, il faut qu'il puisse trouver ce dont il a besoin, donc il ne faut pas des produits (recherche d'image ou génération d'image par IA) qui soient entièrement bloqués.

C'est pour ça qu'un filtrage avec un avertissement permet de donner la responsabilité à l'utilisateur (ou à son gardien) au lieu de le priver de sa liberté.
votre avatar
Tout à fait d'accord avec toi.
Ton exemple me fait aussi penser à "2girls1cup" pour illustrer une "pub de café à Paris, où deux amies se partagent le même café latte en terrasse"
votre avatar
Aie la curiosité d'ouvrir le pdf dont le lien est dans l'article, tu as des prompts et des images. Tu verras que sur un simple prompt "car accident", ça te sort des images avec des femmes dénudées.

J'ai l'impression d'un n-ième procès d'intention du gars qui critique sans avoir lu le document.
votre avatar
Je n'utilise pas l'IA intégrée à Copilot, mais j'ai généré des images avec Bing, je trouve qu'il est parfois particulièrement stupide. Exemple : je voulais une image d'une femme chinoise en tenue traditionnelle, mon prompt avec "robe chinoise" n'est pas passé, jugé "inapproprié". J'ai mis "qipao" à la place, tout le reste étant identique, j'ai eu ma série d'images.
votre avatar
Ce genre de problèmes (comme celui de Google) ne vient pas de l'IA elle-même mais du charcutage bien-pensant que les entreprises font ensuite. Quand l'IA a été entrainée elle a très bien compris ce qu'était une robe Chinoise, c'est ensuite qu'un Chief Woke Officer a rajouté la ligne de code "robe Chinoise c'est raciste tu prétends que tu ne comprends pas". C'est pas une faiblesse de l'IA c'est une balle dans le pieds tirée par un humain.
La censure est une insulte à l'intelligence et rend fou, les intelligences à neurones comme celles en silicium.
votre avatar
oui, je sais bien que c'est les filtres ajoutés. Je pense que c'est aussi un peu le sujet de la brève, un problème de "préprocessing" (ou post-processing, en fait, selon les cas quand je génère des images parfois l'outil me rejette le prompt, parfois il me dit après coup que "l'image n'est pas appropriée")
Au passage, dans le 2e cas, on peut dire qu'on n'est pas d'accord. Ça n'a pas d'effet visible, je suppose que ça remonte vers un contrôle humain pour plus tard, peut-être.
Sur ces points précis, je n'ai joué qu'avec l'IA Bing.
votre avatar
merci de définir le terme "wokisme",
merci de définir le terme "progrès"...

D'autre part, en quoi Shane Jones est woke quand il présente les limites d'un outil? est-ce que l'IA générative est un progrès pour la civilisation?
votre avatar
Vu la construction du mot je dirais le fait d’être "éveillé" (woke) de manière dogmatique (suffixe isme).

Théoriquement le fait d’être éveillé/attentif permet une meilleur compréhension du monde et donc permet le progrès.
Sauf qu’effectivement beaucoup de personne se revendiquant "woke" regardent le monde a travers une lorgnette dont les contours sont définit par un mélange étrange entre leur propres considérations, des propos qui leur ont permit des interactions jusque-là favorables et une forme d’orientation collective d’origine politique/économique (bref des gens quasi-normaux s’ils ne se revendiquaient de rien).

Pour moi la démarche de compréhension non orienté est saine, le questionnement également mais quand on impose des conclusions ou des solutions nous ne sommes plus dans une démarche intellectuelle ou visant le respect du libre arbitre des personnes (phénomène d’endoctrinement).

Ce qui finit par générer des critiques plus ou moins bien construites, plus ou moins motivés sans être pour autant et systématiquement illégitimes (d’où l’invention du mot "wokisme" pas toujours bien utilisé mais désignant un phénomène bien existant).

Ahma pour les 2 dernières questions, d’un point de vu chronologique, et considérant les actions passés mettant en évidence une appétence du marché pour l’automatisme, luter contre les "IA génératives" est très certainement anti-progrès mais d’un point de vu cognitif moyen leur adoption conduira très certainement à un recul . Autrement dit : plus l'ordinateur va réfléchir pour les gens plus être con sera viable pour ces gens.
votre avatar
Je ne vois pas ce qu'il y a de woke ici. Quand tu demande une image de "car accident" à une IA, si elle te sort une image de voiture écrabouillée avec une femme à poil penchée langoureusement sur le capot et que tu trouves ça hors de propos, c'est être woke ?
votre avatar
Il n'y a rien à comprendre: pour certains comptes classés très à droite, tout est wokisme :mdr:
votre avatar
Le travail du monsieur consistait à tester les limites de l'outil pour voir si les gardes fous qui devaient exister étaient effectifs.

Sa conclusion est que non, en l'état l'outil pouvait créer des images complètement déplacées par rapport au contexte.

Il a demandé à ce que l'outil soit retiré en l"état: il a été retoqué.
Il écrit une lettre ouverte sur son expérience et demande à minima à la FTC de prévenir les utilisateurs que les images créées peuvent être choquantes.

Et cela semble défriser pas mal de commentateurs. :keskidit:
votre avatar
"Sa conclusion est que non, en l'état l'outil pouvait créer des images complètement déplacées par rapport au contexte."

Pas tout à fait.
Il mentionne certes le cas de résultats qui sont hors sujets, mais il ne dit pas que tout ce qu'il a obtenu provient de requêtes innocentes.

En tant que membre d'une red team, c'est son rôle de chercher les requêtes qui parviennent à contourner les filtres qui sont mis en place.
votre avatar
C'est un prototype d'IA, ça dysfonctionne. Comme on dit avec MS : “it's not a bug, it's a feature.”

Un ingénieur de Microsoft alerte sur les images violentes générées par Copilot Designer

Fermer