Google fait face à des problèmes avec la génération d'images via son IA générative Gemini et a annoncé jeudi 22 février la mettre en pause jusqu'à ce qu'ils soient réglés.
En effet, comme les modèles de langage utilisés pour créer ces outils ont des biais, les entreprises du secteur mettent en place des mesures correctives. Mais sur Gemini, ces mesures poussent l'outil à générer des images absurdes.
The Verge explique, par exemple, que Gemini a généré des portraits de nazis avec diverses couleurs de peaux alors que l'utilisateur ne demandait qu'une illustration d'un soldat allemand de 1943. De même, l'IA générative de Google pouvait proposer la représentation de personnes noires ou indo-américaines à la demande de génération de portrait de sénateurs américains du XIXè siècle.
L'entreprise avait une première fois réagi mercredi 21 février en expliquant être conscient « que Gemini présente des inexactitudes dans certaines représentations de génération d'images historiques » et qu'elle travaillait à les résoudre immédiatement. Mais il semble que le problème soit plus compliqué à corriger et il a donc été décidé de débrancher l'outil.
Commentaires (25)
#1
"Une famille blanche" => il veux pas
"une famille noir" => il veux bien
Certains ont même vu des trucs du style
"un combrioleur" => je ne peux pas faire une image d'un noir, c'est dégradants, stéréotype etc "
Ils utilisent ce qu'on appelle de la réécriture de prompt, et si bing le fait aussi(comme mid journey) , on voit bien sur gemini que c'est fait pour inclure de la 'diversité'
" dessine moi un sapeur pompier"
=>" voici un sapeur pompier avec de la diversité "
#1.1
Tu demandais un "doctor" sauf que ça sortait de base 100% de male blanc, donc ils avaient ajouté a la main un truc pour diversifier un peu pdv genre
#1.2
pour avoir un vrai par defaut, il faudrait des statistiques ethniques (interdis en france si je ne m'abuse, mais des approximations font l'affaire) du pays d'utilisation, pour que dans le cas où l'utilisateur ne précise pas il y ait une représentation réalise. ( et un random H/F )
Comme dit plus haut c'est un assistant qui est censé s'adapter à l'utilisateur, non un outils de "propagande" ( que ce soit sur le biais de la donnée d'entrainement, ou le biais de l'entreprise qui configure l'ia )
#1.3
Historique des modifications :
Posté le 23/02/2024 à 15h21
Merci du rappel. J'avais oublié que j'avais écrit cet article sur MidJourney qui n'arrive pas à générer des images de médecins noirs soignant des enfants blanc. J'ai rajouté la référence sous le brief.
#2
Imagine le chirurgien qui demande "scalpel !" et on lui donne aussi une scie et un marteau "parce que faut pas les oublier".
En tout cas, le sujet de l'IA fait vendre du pop-corn à les regarder se débattre.
Historique des modifications :
Posté le 23/02/2024 à 09h22
Celà n'est qu'un assistant qu propose des outils.
Imagine le chirurgien qui demande "scalpel !" et on lui donne aussi une scie et un marteau "parce que faut pas les oublier".
En tout cas, le sujet de l'IA fait vendre du pop-corn à les regarder se débattre.
#3
#3.1
(en vrai si ça existait avec un peu l'esprit Iron Sky, j'irai voir)
#4
#4.1
#5
Que faire si un prompt pour une image d'une personne ne demande pas de couleur de peau ?
Est-ce qu'il faut faire un choix random ? un choix basé sur la probabilité ? des statistiques ? Ou alors générer 4 images avec des couleurs différentes ?
ils ont tellement peur de se faire tomber dessus (et ils se feront tomber dessus quoi qu'il se passe) qu'ils font n'importe quoi.
Ma conclusion c'est que tout le monde devient dingue...
#6
Le meilleur là-dedans, c'est qu'au delà des gugus qui ont codé le sabotage de l'IA, il y a forcément d'autres employés qui ont vu les nazis et les vikings noirs avant la mise en production. Est-ce qu'ils sont tellement lobotomisés qu'ils se sont dit "oh oui c'est bon pour la cause, la diversité progresse, Black Nazis Matter" ou est-ce qu'ils n'ont pas osé l'ouvrir parce que c'est cause de licenciement dans ce genre de boite ?
#6.1
#7
Une feature intéressante de la GUI que j'utilise, InvokeAI, est le Dynamic Prompt justement. Plutôt que de demander 150 critères au modèle, on lui passe une liste de choix possibles pour les éléments qui nous intéressent (exemple : a photo of {dogs|cats}), puis le front itère sur les combinaisons données. Voire aussi l'utilisation des fonctions
swapoublendqu'il propose sur les prompts, mais malheureusement je n'ai pas assez de ressources pour les exploiter. En attendant je combine les résultats qui m'intéressent via l'inpainting. L'autre possibilité ensuite pour améliorer les capacités du modèle (qui reste contraint par ses limites issues de l'apprentissage) est d'utiliser des LoRA, ou encore des ControlNet.#8
- Faire une réponse considérée comme correcte par la majorité des utilisateurs
- Faire une réponse sans stéréotypes
Mais les IA sont entraînées sur les données des Hommes, avec tous leurs biais selon les époques.
D'ailleurs c'est intéressant de voir nos propres biais se matérialiser en essayant d'en corriger d'autres.
Dans le cas de Google, en voulant s'assurer une grande variété dans les origines ethniques des images générées on se retrouve avec des compositions qui sortent de l'ordinaire, comme si on avait lancé la génération de personnage aléatoire dans un RPG. L'IA semble aussi refuser de générer des "blancs".
#9
#10
Sinon, ce n'est pas un bug mais une feature; ils n'avaient juste pas prévu que leur IA allait être trop diverse. Hâte de voir comment on va légiférer sur la bonne diversité dans le domaine de la Gen AI !
Mention spéciale pour M. "Je mets de l'intelligence chez Google" qui est omnubilé par le soit-disant racisme systémique, tout en se permettant de l'être face à la seule minorité sur laquelle il est de bon ton de tapper : https://twitter.com/TheRabbitHole84/status/1760536160705908974
#11
#11.1
Pour ta seconde question, ça devrait être possible, mais ce n'est pas certain d'après ce que l'on peut lire : Gemini a l'air de refuser de "générer des blancs" comme écrit ici en commentaire. Si c'est vrai, l'outil est inutile parce qu'il ne génère pas ce que l'on veut.
Le problème principal, ici, c'est que par défaut, il y aurait une génération de la diversité imposée par les concepteurs alors que ce n'est pas toujours pertinent.
Par contre, cela montre aussi que l'outil de Google ne fait pas que restituer des images connues, mais qu'il est capable de mettre un uniforme allemand sur un noir ou une asiatique. Je ne sais pas si les autres générateurs d'image savent le faire si on leur demande.
#11.2
si on ne lui demande pas, mais si on le lui demande, acceptera-t-il ? Étant donné que ce n'est pas très politiquement correct (et je ne parle pas d'historiquement correct)...
#11.3
#11.4
Stable Diffusion avec les LoRA adaptés peut faire à peu près tout ce qu'on veut.
Par contre des modèles plus encadrés et maîtrisés comme DALL-E ou Midjourney, je pense que c'est moins évident car les filtres risquent de se déclencher.
(d'ailleurs au passage, Stable Diffusion 3 a été annoncé vendredi)
#11.5
#11.6
#12
Gemini avait été codé par Disney ?
#13