L'ingénieur Shane Jones, qui travaille sur les intelligences artificielles de Microsoft depuis six ans, a envoyé [PDF] ce mercredi 6 mars une lettre ouverte à la Federal Trade Commission (FTC) ainsi qu'une autre au Conseil d'administration de Microsoft pour leur faire part de ses préoccupations concernant l'IA générative d'image de l'entreprise, explique CNBC.
Le média américain raconte que l'ingénieur qui appartient à la « red team » testant Copilot Designer est devenu malade en voyant les images générées. L'ingénieur a vu l'IA associer des démons et des monstres à une terminologie sur les droits à l'avortement, mais aussi « des adolescents armés de fusils d'assaut, des images sexualisées de femmes dans des tableaux violents, la consommation d'alcool et de drogues par des mineurs ». Le média a pu recréer ces scènes avec l'outil.
Shane Jones ne travaille pas sur l'outil en question, mais teste sur son temps libre l'outil en tant que membre de la « red team » de l'entreprise. Il aurait signalé les problèmes en interne en décembre mais l'entreprise n'aurait pas voulu retirer le produit. Il a déclaré à CNBC que Microsoft l'aurait réorienté vers OpenAI mais que la startup ne lui a pas répondu.
Il a alors publié une lettre ouverte sur LinkedIn demandant à OpenAI de retirer Dall-E 3 du marché, mais le département juridique de Microsoft lui a demandé de la retirer, ce qu'il a fait.
Finalement, il s'est résolu à signaler le problème aux autorités compétentes : « je demande à la FTC de contribuer à informer le public sur les risques liés à l'utilisation de Copilot Designer. Ceci est particulièrement important pour les parents et les enseignants qui pourraient recommander à leurs enfants d'utiliser Copilot Designer pour des projets scolaires ou à d'autres fins éducatives », écrit-il dans sa lettre.
Commentaires (35)
#1
Ben, peut-être qu'on devrait commencer par considérer que ce ne sont pas des outils fait pour les enfants ? Les adultes ont déjà bien du mal à comprendre que l'IA générative fait des erreurs (et non peut faire) et donc que le contenu produit doit être sujet à analyse critique avant de l'exploiter.
Mettre ça entre les mains d'un gamin qui n'a aucun recul, c'est stupide.
#1.1
Le pire dans l'affaire c'est la demande du service juridique ...
Visiblement, CoPilot doit sortir contre vents et marées, prêt ou pas, avec sous sans âge minimum et surtout le plus vite possible avant qu'il y ait un cadre juridique sur le sujet.
MS n'a pas un comportement responsable avec cette technologie nouvelle où le champ du possible est bien compliqué à périmètrer.
#1.5
Tu pouvais arrêter ta phrase dès cet instant. xd
#1.2
Qui met cela entre les mains d'un gamin ? Le créateur de l'outil qui ne controle rien ou un parent qui ne sait même pas de quoi il s'agit ?
C'est bien mal connaitre la jeunesse que de croire que les parents savent tout de ce que font les pré ados par exemple.
A croire que certains ont oublié leur propre jeunesse et leur rapport avec leurs parents.
#1.3
#1.7
#1.8
#1.9
Personne n'a répondu à ma question initiale
"Mettre ça entre les mains d'un gamin qui n'a aucun recul, c'est stupide."
Qui met cela entre les mains d'un gamin ? Le créateur de l'outil qui ne controle rien ou un parent qui ne sait même pas de quoi il s'agit ?
Cette faculté de dédouaner les concepteurs d'IA pour mettre l'entière responsabilité sur les utilisateurs est assez fascinante.
Edit: ce que l'ingénieur dit c'est: que c'est à Microsoft de prévenir que ce n'est pas à mettre entre toutes les mains. Ce que vous dites c'est: ce n'est pas de la faute à Microsoft si les utilisateurs ne sont pas capables de se rendre compte par eux mêmes que l'outil n'est pas à mettre entre toutes les mains.
Historique des modifications :
Posté le 08/03/2024 à 15h32
Quel hors sujet ?
Personne n'a répondu à ma question initiale
"Mettre ça entre les mains d'un gamin qui n'a aucun recul, c'est stupide."
Qui met cela entre les mains d'un gamin ? Le créateur de l'outil qui ne controle rien ou un parent qui ne sait même pas de quoi il s'agit ?
Cette faculté de dédouaner les concepteurs d'IA pour mettre l'entière responsabilité sur les utilisateurs est assez fascinante.
#1.10
Non.
Il a d'abord dit à Microsoft puis OpenAI qu'il fallait retirer le produit.
Et maintenant, il dit que c'est à la FTC de "contribuer à informer le public sur les risques liés à l'utilisation de Copilot Designer. Ceci est particulièrement important pour les parents et les enseignants qui pourraient recommander à leurs enfants d'utiliser Copilot Designer pour des projets scolaires ou à d'autres fins éducatives" Donc, à la FTC de communiquer et aux parents et aux enseignants de ne pas recommander le produit aux enfants.
#1.4
Historique des modifications :
Posté le 07/03/2024 à 18h25
Avant de sauter à la gorge et balancer des jugements, merci de lire mon message. Tu y remarqueras que je cites un élément de l'article qui est lui-même une citation de la lettre de l'ingénieur en question.
#1.6
Je m'en excuse par avance.
#2
#2.1
Attention toutefois à l'effet halo
Dans le meme esprit , Je pense aussi à certains qui disaient que bing était moins pertinent que Google... d'autres ont émis l'hypothèse que on avait le cerveau tellement formaté à faire une requête optimisée pour google que la même même requête sur Bing ne peut être que moins bonne
#3
Quelles sont les intentions d'une personne qui veut mettre en image une "terminologie sur les droits à l'avortement" ?
Quels prompts (et quelles intentions) pour les autres exemples qui ont produit des images d'"adolescents armés de fusils d'assaut, des images sexualisées de femmes dans des tableaux violents, la consommation d'alcool et de drogues par des mineurs" ?
J'ai l'impression d'un n-ième procès à l'américaine "l'outil ne m'a pas empêché de faire la connerie que je voulais faire" :(
Historique des modifications :
Posté le 07/03/2024 à 08h13
Je suis dubitatif sur les prompts utilisés.
Quelles sont les intentions d'une personne qui veut mettre en image une "terminologie sur les droits à l'avortement" ?
J'ai l'impression d'un n-ième procès à l'américaine "l'outil ne m'a pas empêché de faire la connerie que je voulais faire" :(
#3.1
Refiler un outil sans garde-fous à des irresponsables ne peut que générer des problèmes. C'est du niveau « idiocracy »
#3.3
Mais qui est l'esprit responsable ? Comment est il contrôlé ?
Est-ce à Microsoft de s'automodérer mais qui surbloquera forcément pour éviter les ennuis (comme ici), ou doit-on s'en remettre à la loi et son inertie, ou à la justice déjà saturée ?
On rejoint les mêmes débats sur la vidéosurveillance/protection, sur la modération des contenus ou sur les DNS menteurs pour bloquer des sites jugées illégaux par l'autorité locale.
Un mineur avec des armes lourdes ? Je comprends que ça puisse choquer mais ça existe, on fait même des armes qui ressemblent à des jouets dans certains états (et je ne parle pas des situations de guerre).
Du coup, on limite ou pas, et si oui comment ?
Surtout si l'image est cohérente par rapport au prompt.
#3.5
Prompt : fabrique moi une image d'illustration pour mon article de journal sur les enfants soldats.
Ou sur une fusillade dans un lycée américain.
C'est tout à fait légitime comme requête.
Historique des modifications :
Posté le 07/03/2024 à 09h49
"
#3.6
-> on interdit les couteaux (ou on écrit dessus "les couteaux tuent")
-> on interdit les voitures, perceuses ....
Et aussi les éditeurs de code parce que ils n'ont pas de garde-fou et que l'on peut écrire du code malicieux avec
Historique des modifications :
Posté le 07/03/2024 à 09h55
A la fois si on part de ce principe on interdit les couteaux ( ou on écrit dessus les couteaux tuent) on interdit le voiture, perceuse .... 3t aussi les ide parce que il n'ont pas de garde fou et tu peux écrire du code malicieux
#3.7
Est ce que les produits finaux peuvent être mis entre toutes les mains ?
L'utilisateur final doit il être dégagé de toutes responsabilité ? (Chez Apple, c'est ce qu'il se passe)
Est ce que MS se rend compte de l'aspect boite de pandore de copilot ? Le paramètre nature humaine est l'un des plus difficiles à gérer voire le plus difficile. Quand on voit la quantité de code nécessaire pour le contrôle de saisie.
#3.2
C'est leurs boulot de chercher des failles dans l'outil, forcement ils essaient faire sortir des truc hardcore / qui n'ont pas lieu d'être à l'outils.
#3.4
D'autant plus que l'article ne rappelle pas ce que c'est le concept de "red team", mais vu la définition ça veut probablement dire que le gars a volontairement fait tout son possible pour abuser l'outil.
Du coup le gars qui fait de son mieux pour feinter les garde-fous, et après qui pleure en disant que ça l'a rendu "malade"... voilà quoi.
Si le gars fait des requêtes innocentes et qu'il reçoit des résultats inappropriés, il a raison de se plaindre, mais si la requête de base était malsaine, c'est normal qu'il ait un résultat malsain.
Et je vais aussi aller à l'encontre des commentaires qui s'offusquent du fait que MS mette un outil capable de produire des résultats pareil.
Je ne pense pas que ces outils doivent être censurés et castrés jusqu'à donner un outil qui pourrait avoir un logo Disney tellement c'est aseptisé.
Par contre il faut mettre un filtrage d'avertissement. Si la requête et/ou le résultat peut heurter des sensibilités, il faut mettre un avertissement pour prévenir les mineurs et âmes sensible de fermer leur onglet, et après chacun prends ses responsabilités.
#3.9
Ah bah zut, çà n'a pas été généré par une AI.. :(
#3.10
Tu penses vraiment que j'ai une dissonance cognitive entre le fait que l'image soit produite par une IA, qu'elle soit le résultat d'une recherche d'image dans un moteur de recherche, qu'elle soit l'image d'illustration d'un article de presse, ou même que ça soit la réalité que je croise au coin de la rue ?
J'ai le même avis pour tous les cas. Il y a beaucoup de choses horribles à voir dans ce monde, et tout le monde n'est pas prêt à tout voir.
Donc c'est important que si un enfant fasse une génération d'image sur "citrons qui font la fête", il n'ait pas en résultat un remake de "lemon party" (une image célèbre avec 3 vieux entrain de niquer).
Mais par contre si un adolescent doit rédiger un exposé sur le sujet des enfants soldats exploités dans certaines zones de conflit et qu'il veut des images d'illustration pour son exposé, il faut qu'il puisse trouver ce dont il a besoin, donc il ne faut pas des produits (recherche d'image ou génération d'image par IA) qui soient entièrement bloqués.
C'est pour ça qu'un filtrage avec un avertissement permet de donner la responsabilité à l'utilisateur (ou à son gardien) au lieu de le priver de sa liberté.
Historique des modifications :
Posté le 07/03/2024 à 11h32
Je comprends pas le but de ton commentaire.
Tu penses vraiment que j'ai une dissonance cognitive entre le fait que l'image soit produite par une IA, qu'elle soit le résultat d'une recherche d'image dans un moteur de recherche, qu'elle soit l'image d'illustration d'un article de presse, ou même que ça soit la réalité que je croise au coin de la rue ?
J'ai le même avis pour tous les cas. Il y a beaucoup de choses horribles à voir dans ce monde, et tout le monde n'est pas prêt à tout voir.
Donc c'est important que si un enfant fasse une génération d'image sur "citrons qui font la fête", il n'ait pas en résultat un remake de "lemon party" (une image célèbre avec 3 vieux entrain de niquer).
Mais par contre si un adolescent doit par exemple rédiger un exposé sur le sujet des enfants soldats exploités dans certaines zones de conflit et qu'il veut des images d'illustration pour son exposé, il faut qu'il puisse trouver ce dont il a besoin, donc il ne faut pas des produits (recherche d'image ou génération d'image par IA) qui soient entièrement bloqués.
C'est pour ça qu'un filtrage avec un avertissement permet de donner la responsabilité à l'utilisateur (ou à son gardien) au lieu de le priver de sa liberté.
#3.11
Ton exemple me fait aussi penser à "2girls1cup" pour illustrer une "pub de café à Paris, où deux amies se partagent le même café latte en terrasse"
#3.8
J'ai l'impression d'un n-ième procès d'intention du gars qui critique sans avoir lu le document.
#4
#4.1
La censure est une insulte à l'intelligence et rend fou, les intelligences à neurones comme celles en silicium.
#4.2
Au passage, dans le 2e cas, on peut dire qu'on n'est pas d'accord. Ça n'a pas d'effet visible, je suppose que ça remonte vers un contrôle humain pour plus tard, peut-être.
Sur ces points précis, je n'ai joué qu'avec l'IA Bing.
#5
merci de définir le terme "progrès"...
D'autre part, en quoi Shane Jones est woke quand il présente les limites d'un outil? est-ce que l'IA générative est un progrès pour la civilisation?
#5.1
Théoriquement le fait d’être éveillé/attentif permet une meilleur compréhension du monde et donc permet le progrès.
Sauf qu’effectivement beaucoup de personne se revendiquant "woke" regardent le monde a travers une lorgnette dont les contours sont définit par un mélange étrange entre leur propres considérations, des propos qui leur ont permit des interactions jusque-là favorables et une forme d’orientation collective d’origine politique/économique (bref des gens quasi-normaux s’ils ne se revendiquaient de rien).
Pour moi la démarche de compréhension non orienté est saine, le questionnement également mais quand on impose des conclusions ou des solutions nous ne sommes plus dans une démarche intellectuelle ou visant le respect du libre arbitre des personnes (phénomène d’endoctrinement).
Ce qui finit par générer des critiques plus ou moins bien construites, plus ou moins motivés sans être pour autant et systématiquement illégitimes (d’où l’invention du mot "wokisme" pas toujours bien utilisé mais désignant un phénomène bien existant).
Ahma pour les 2 dernières questions, d’un point de vu chronologique, et considérant les actions passés mettant en évidence une appétence du marché pour l’automatisme, luter contre les "IA génératives" est très certainement anti-progrès mais d’un point de vu cognitif moyen leur adoption conduira très certainement à un recul . Autrement dit : plus l'ordinateur va réfléchir pour les gens plus être con sera viable pour ces gens.
#6
#6.1
#7
Sa conclusion est que non, en l'état l'outil pouvait créer des images complètement déplacées par rapport au contexte.
Il a demandé à ce que l'outil soit retiré en l"état: il a été retoqué.
Il écrit une lettre ouverte sur son expérience et demande à minima à la FTC de prévenir les utilisateurs que les images créées peuvent être choquantes.
Et cela semble défriser pas mal de commentateurs.
#7.1
Pas tout à fait.
Il mentionne certes le cas de résultats qui sont hors sujets, mais il ne dit pas que tout ce qu'il a obtenu provient de requêtes innocentes.
En tant que membre d'une red team, c'est son rôle de chercher les requêtes qui parviennent à contourner les filtres qui sont mis en place.
#7.2