Connexion

Catégories

Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société

Nous Suivre

Contact rédaction Contact site Forum
Flux RSS GitHub Discord

À propos

Abonnez-vous

Google met la génération d’images via Gemini sur pause

Google met la génération d’images via Gemini sur pause

Le 23 février à 07h51

Google fait face à des problèmes avec la génération d'images via son IA générative Gemini et a annoncé jeudi 22 février la mettre en pause jusqu'à ce qu'ils soient réglés.

En effet, comme les modèles de langage utilisés pour créer ces outils ont des biais, les entreprises du secteur mettent en place des mesures correctives. Mais sur Gemini, ces mesures poussent l'outil à générer des images absurdes.

The Verge explique, par exemple, que Gemini a généré des portraits de nazis avec diverses couleurs de peaux alors que l'utilisateur ne demandait qu'une illustration d'un soldat allemand de 1943. De même, l'IA générative de Google pouvait proposer la représentation de personnes noires ou indo-américaines à la demande de génération de portrait de sénateurs américains du XIXè siècle.

L'entreprise avait une première fois réagi mercredi 21 février en expliquant être conscient « que Gemini présente des inexactitudes dans certaines représentations de génération d'images historiques » et qu'elle travaillait à les résoudre immédiatement. Mais il semble que le problème soit plus compliqué à corriger et il a donc été décidé de débrancher l'outil.

Le 23 février à 07h51

Commentaires (25)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
Le problème est qu'il est incapable de générer des personnes non diverse à la demande.

"Une famille blanche" => il veux pas
"une famille noir" => il veux bien
Certains ont même vu des trucs du style
"un combrioleur" => je ne peux pas faire une image d'un noir, c'est dégradants, stéréotype etc "

Ils utilisent ce qu'on appelle de la réécriture de prompt, et si bing le fait aussi(comme mid journey) , on voit bien sur gemini que c'est fait pour inclure de la 'diversité'
" dessine moi un sapeur pompier"
=>" voici un sapeur pompier avec de la diversité "
votre avatar
Dans les tous premiers générateurs d'image, il me semble qu'il y en avait un ou c'était visible dans le code de la page après le rendu.

Tu demandais un "doctor" sauf que ça sortait de base 100% de male blanc, donc ils avaient ajouté a la main un truc pour diversifier un peu pdv genre
votre avatar
Exactement, puisque le biais existe de base dans l'autre sens sur la source, il y avait le problème que l'ia était incapable de générer un docteur noir, car trop peu de représentation dans sa source d'entrainement.

pour avoir un vrai par defaut, il faudrait des statistiques ethniques (interdis en france si je ne m'abuse, mais des approximations font l'affaire) du pays d'utilisation, pour que dans le cas où l'utilisateur ne précise pas il y ait une représentation réalise. ( et un random H/F )

Comme dit plus haut c'est un assistant qui est censé s'adapter à l'utilisateur, non un outils de "propagande" ( que ce soit sur le biais de la donnée d'entrainement, ou le biais de l'entreprise qui configure l'ia )
votre avatar
Merci du rappel. J'avais oublié que j'avais écrit cet article sur MidJourney qui n'arrive pas à générer des images de médecins noirs soignant des enfants blancs. J'ai rajouté la référence sous le brief.
votre avatar
Celà n'est qu'un assistant qui propose des outils.
Imagine le chirurgien qui demande "scalpel !" et on lui donne aussi une scie et un marteau "parce que faut pas les oublier".

En tout cas, le sujet de l'IA fait vendre du pop-corn à les regarder se débattre.
votre avatar
Conclusion: dans un monde sans biais systémique les nazis seraient noirs.

:mdr:
votre avatar
twitter.com Twitter

:D

(en vrai si ça existait avec un peu l'esprit Iron Sky, j'irai voir)
votre avatar
Manquerait plus que ces outils représentent la société telle qu'elle est...
votre avatar
Ils l'ont fait mais il parait que c'est biaisé.
votre avatar
En fait ils se retrouvent avec le problème du "choix par défaut".
Que faire si un prompt pour une image d'une personne ne demande pas de couleur de peau ?

Est-ce qu'il faut faire un choix random ? un choix basé sur la probabilité ? des statistiques ? Ou alors générer 4 images avec des couleurs différentes ?

ils ont tellement peur de se faire tomber dessus (et ils se feront tomber dessus quoi qu'il se passe) qu'ils font n'importe quoi.

Ma conclusion c'est que tout le monde devient dingue...
votre avatar
C'est plutôt les employés woke qu'il faut mettre en pause, pas le générateur d'images.

Le meilleur là-dedans, c'est qu'au delà des gugus qui ont codé le sabotage de l'IA, il y a forcément d'autres employés qui ont vu les nazis et les vikings noirs avant la mise en production. Est-ce qu'ils sont tellement lobotomisés qu'ils se sont dit "oh oui c'est bon pour la cause, la diversité progresse, Black Nazis Matter" ou est-ce qu'ils n'ont pas osé l'ouvrir parce que c'est cause de licenciement dans ce genre de boite ?
votre avatar
C'est clairement une culture d'entreprise.
votre avatar
C'est pour ça que je préfère faire tourner du Stable Diffusion chez moi plutôt que de devoir subir des positions dans lesquelles je ne me reconnais pas et qui provoquent des résultats contre productifs. Je tiens à garder une certaine maîtrise de l'usage de l'outil pour correspondre à mes attentes.

Une feature intéressante de la GUI que j'utilise, InvokeAI, est le Dynamic Prompt justement. Plutôt que de demander 150 critères au modèle, on lui passe une liste de choix possibles pour les éléments qui nous intéressent (exemple : a photo of {dogs|cats}), puis le front itère sur les combinaisons données. Voire aussi l'utilisation des fonctions swap ou blend qu'il propose sur les prompts, mais malheureusement je n'ai pas assez de ressources pour les exploiter. En attendant je combine les résultats qui m'intéressent via l'inpainting. L'autre possibilité ensuite pour améliorer les capacités du modèle (qui reste contraint par ses limites issues de l'apprentissage) est d'utiliser des LoRA, ou encore des ControlNet.
votre avatar
Il y a clairement un conflit entre 2 objectifs qui semblent contradictoire.
- Faire une réponse considérée comme correcte par la majorité des utilisateurs
- Faire une réponse sans stéréotypes

Mais les IA sont entraînées sur les données des Hommes, avec tous leurs biais selon les époques.
D'ailleurs c'est intéressant de voir nos propres biais se matérialiser en essayant d'en corriger d'autres.

Dans le cas de Google, en voulant s'assurer une grande variété dans les origines ethniques des images générées on se retrouve avec des compositions qui sortent de l'ordinaire, comme si on avait lancé la génération de personnage aléatoire dans un RPG. L'IA semble aussi refuser de générer des "blancs".
votre avatar
Et c'est comme à Hollywood ? au final, le nazi noir sera le mec qui va aider l'héro, car il est gentil (parce qu'il est noir). Mais s'il reste méchant, c'est qu'il y a une raison avec toute une histoire autour, parce qu'en vrai, il est méchant, mais pas vraiment en fait.
votre avatar
étonnament, on va sauter sur le nazi noir quand le cas apparaît, parce que dans l'autre sens, ça ne posait pas trop de problème : twitter.com Twitter

Sinon, ce n'est pas un bug mais une feature; ils n'avaient juste pas prévu que leur IA allait être trop diverse. Hâte de voir comment on va légiférer sur la bonne diversité dans le domaine de la Gen AI !

Mention spéciale pour M. "Je mets de l'intelligence chez Google" qui est omnubilé par le soit-disant racisme systémique, tout en se permettant de l'être face à la seule minorité sur laquelle il est de bon ton de tapper : twitter.com Twitter
votre avatar
De base je ne comprends pas trop pourquoi on cherche à ce que l’IA soit « exacte » ou « informée historiquement » lorsqu’elle n’est pas censée « comprendre ». Les biais induits peuvent-ils être corrigés par exemple en précisant le prompt ?
votre avatar
Je suis d'accord avec toi.
Pour ta seconde question, ça devrait être possible, mais ce n'est pas certain d'après ce que l'on peut lire : Gemini a l'air de refuser de "générer des blancs" comme écrit ici en commentaire. Si c'est vrai, l'outil est inutile parce qu'il ne génère pas ce que l'on veut.

Le problème principal, ici, c'est que par défaut, il y aurait une génération de la diversité imposée par les concepteurs alors que ce n'est pas toujours pertinent.


Par contre, cela montre aussi que l'outil de Google ne fait pas que restituer des images connues, mais qu'il est capable de mettre un uniforme allemand sur un noir ou une asiatique. Je ne sais pas si les autres générateurs d'image savent le faire si on leur demande.
votre avatar
il est capable de mettre un uniforme allemand sur un noir
si on ne lui demande pas, mais si on le lui demande, acceptera-t-il ? Étant donné que ce n'est pas très politiquement correct (et je ne parle pas d'historiquement correct)...
votre avatar
Je parlais uniquement de l'aspect technique de la chose, de la composition de l'image. Et j'ai oublié de préciser un uniforme de la Wehrmacht, donc de la guerre 39-45, avec a priori pas d'image de ce type ayant servi à l'apprentissage de l'IA.
votre avatar
Je ne sais pas si les autres générateurs d'image savent le faire si on leur demande.
Stable Diffusion avec les LoRA adaptés peut faire à peu près tout ce qu'on veut.

Par contre des modèles plus encadrés et maîtrisés comme DALL-E ou Midjourney, je pense que c'est moins évident car les filtres risquent de se déclencher.

(d'ailleurs au passage, Stable Diffusion 3 a été annoncé vendredi)
votre avatar
(d’ailleurs pardon je dis « IA » alors que c’est de l’apprentissage profond)
votre avatar
C'est pas un drame en soit, la discipline de l'intelligence artificielle regroupe beaucoup de domaines dont le deep learning (qui l'a d'ailleurs faite beaucoup progresser). Le terme est donc aussi générique que le sont "informatique", "numérique", ou encore "internet" (car pour ce dernier on l'assimile majoritairement avec le Web).
votre avatar
Et si ...
Gemini avait été codé par Disney ? :fume:
votre avatar
Intéressant le vocabulaire utilisé quand il s'agit des blancs, ici des "images absurdes". Ce serait l'inverse on parlerait de discrimination systémique voir de racisme.

Google met la génération d’images via Gemini sur pause

Fermer