Shane Jones, un dirigeant de l’équipe d’ingénierie en IA de Microsoft, déclare avoir alerté son entreprise sur différentes vulnérabilités qu’il avait trouvé dans Dall-E 3 (la dernière version du moteur de génération d’image d’OpenAI) et avoir été ignoré.
Dans une lettre à destination de trois législateurs américains et du procureur général de Washington Bob Ferguson obtenue par GeekWire, l’ingénieur explique avoir alerté son employeur début décembre sur les bugs de Dall-E 3 permettant aux usagers de l’utiliser pour créer des images explicites ou violentes.
Et de citer le cas de deepfakes pornographiques représentant Taylor Swift comme un exemple de ce qu’il avait démontré – les images en question ont été créées via Designer de Microsoft, un outil qui s’appuie en partie sur Dall-E 3. « Microsoft était conscient de ces vulnérabilités et des risques de détournement », écrit Shane Jones.
Auprès de GeekWire, l'entreprise déclare avoir créé « des procédures internes de signalement robustes pour enquêter correctement sur les problèmes et y remédier ». Étant donné que le problème concernait un produit d’OpenAI, l’entreprise a ajouté avoir « encouragé » son employé à « signaler l’incident via les procédures propres » à la start-up.
Jones, lui, indique avoir utilisé les outils internes à sa disposition et n’avoir obtenu aucune réponse satisfaisante.
OpenAI a déclaré « avoir enquêté » et constaté que la technique indiquée par l’ingénieur « ne contourne pas nos systèmes de sécurité ».
Commentaires (9)
#1
#2
Ce vocabulaire de cybersécrurité me semble inapproprié pour du non-respect des règles d'utilisation par les utilisateurs.
Ou plutot, il semble créer un dangereux précédent sur ce qu'est la sécurité d'un système informatique.
#2.1
#2.2
#2.3
Il me raconte tout un patacaisse sur le fait que c'est pas bien de falsifier, toussa... comme écrit sur les Pascal avant quoi... Mais sur les euros la mention n'existe plus.
(Mais Gimp, il est gentil par contre... )
Si vous avez du temps, amusez-vous à prendre un biftard, le scanner, le plier en 2, le scanner des deux cotés, repliez en deux, re-re-scanner.... etc.
Au final, en prenant chaque scan dans Toshop, il n'y a qu'une seule partie de la faffe qui le fait hurler. Comme j'ai pas envie de spoiler, je dis rien :)
#2.4
#3
#4
Et tout cela sous le prétexte de protéger les enfants et autres populations vulnérables. Quand on utilise les enfants pour justifier une mesure plus générale, on sait bien ici où ça peut mener et que ça cache souvent d'autres buts.
Que l'on protège ces personnes vulnérables de la diffusion de ces images, c'est légitime, mais que l'on empêche la génération de ces images pour tous me semble disproportionné.
Ça me rappelle la loi française interdisant l'accès des mineurs au porno et autres interdits (violences , ...) que l'on a renforcé en demandant que la vérification d'âge soit parfaite tout en respectant le droit à la vie privée sous peine de blocage des sites. Vu la difficulté à appliquer cette loi, ça revient actuellement à interdire l'accès au porno et autres en France, même si dans les faits, cela n'est pas encore arrivé et que le DSA ajoute une compétence de l'UE qui l'emporte sur la compétence nationale.
Sa solution est de supprimer des données d'entraînement des images "nocives". Il reste à savoir où il veut qu'on place cette limite ! De façon générale (pas seulement pour les images), si l'on restreint les jeux de données d'entraînement des IA, on risque d'avoir des outils qui ignorent tout un pan de la connaissance et qui donneront des solutions tronquées (je ne parle pas que des IA génératives).
Ma critique ne s'arrête pas au lanceur d'alerte mais aussi à OpenAI et Microsoft qui affichent la même volonté puisqu'ils mettent des filtres pour empêcher de tels comportements.
Un monde où l'on restreint trop de choses me fait peur.
¹ C'est cette lettre publique que Microsoft lui a demandé de supprimer qui justifie les mots "fait taire" dans le titre de la brève.
#4.1
Ou qui seraient incapables de bloquer la génération de certains types de contenus (via double contrôle entre deux modèles par ex) car ils n'en ont pas connaissance. Ou alors à l'opposé, bloquer tout et n'importe quoi. Mais d'ordre plus prévisible, étant des modèles statistiques, ils partiront dans le plus probable pour eux et dériveront sur n'importe quoi.
Perso j'ai pas mal observé la censure de ChatGPT. Déclencher ses filtres affichant un gros message tout rouge disant "cet usage est une potentielle violation des conditions d'utilisation", c'est très très facile, et sans forcément être explicite ni utiliser de prompt engineering.
Si leur censure peut se comprendre, elle a forcément un impact sur l'efficacité de ces outils et cela risque de les rendre inutiles. Vu que l'article utilise beaucoup le vocabulaire de la sécurité IT, j'imagine que Microsoft et OpenAI ont fait un risk assessment sur le sujet et il est fort probable que le damage control ait été préféré à la dégradation des performances de l'outil.
Après, d'une vision plus cynique, on parle de MS et OpenAI car ce sont aujourd'hui les leaders sur le sujet. Stable Diffusion, c'est open source, et absolument rien n'empêchera la création de modèles spécialisés pour produire ces types de contenus (cela a déjà été évoqué ici, et c'est même la posture de Stability AI). Au même titre qu'absolument rien n'empêche de créer des logiciels malveillants avec la panoplie de langages de programmation à disposition.