Et heureusement qu’il existe énormément de LoRA pour compenser les limitations des modèles de base.

Pour moi il ne faut pas sombrer dans des constats unilatéraux comme “l’IA fait des clichés stéréotypes”, elle fait ce qu’elle a appris. Si on entraîne un modèle de génération d’image uniquement sur des samples de Hulk, il ne va produire que des messieurs tout verts qui sont pas contents. Y’a rien de magique là dedans, que de la statistique.

Un exemple plus réaliste : une bonne partie des gros modèles qu’on trouve sur Civitai sont d’origine asiatique. Sans contextualisation particulière, il aura de fortes chances de produire des personnes de type asiatiques. Perso lorsque j’utilise un modèle pour générer un personnage en ayant en tête son ethnie, je la spécifie ainsi que le contexte attendu. Et si ça me plait pas, j’ajoute quelques LoRA (bon en ce moment avec SDXL je peux pas, faut que je booste la RAM… par contre avec SD1 ça va).

Après, entraîner un modèle pour qu’il soit le moins biaisé possible, j’ai envie de dire que c’est … Impossible. Si le jeu de données est biaisé (car le modèle prévu pour être spécialisé ou par choix de son créateur) ou si le prompt est biaisé, le résultat le restera. Pour moi il faut simplement prendre conscience de ces limitations et rappeler qu’il existe des tonnes de LoRA, des modèles légers extrêmement spécialisés sur un besoin précis, qui permettent d’enrichir le modèle de base et réduire le risque de résultats simplistes.

Pour reprendre la citation de l’article sur “Ils effacent toute la complexité et l’hétérogénéité des cultures concernées, ajoute de son côté la chercheuse en éthique de l’IA Sasha Luccioni.”, je dirais qu’on a là justement une réponse technique à ce problème avec les LoRA (l’autre réponse étant éducative). Entraîner des modèles spécialisés pour retranscrire toute la richesse d’une culture. Je pense qu’il doit déjà en exister.

Et le dernier point qui me semble important pour moi : être conscient que nous sommes tous biaisés par notre éducation et notre point de vue culturel. C’est pas un drame en soit, faut juste le savoir. Des clichés, on en produit nous-même sans le vouloir. Il faut donc s’auto éduquer à en prendre conscience pour déclencher une ouverture d’esprit. L’IA ne fera que ce pour quoi elle a été entraînée et ce qu’on lui demande.

carbier a dit:

Personne ne dit le contraire je pense. Le problème est simplement que dans l’inconscient collectif une IA est plus “intelligente” qu’un humain et est surtout non biaisé.

On est d’accord et c’est le bullshit que je trouve horriblement regrettable autour de l’IA. L’outil est intelligent, à n’en pas douter (compréhension sémantique, capacité d’analyse du contenu d’une image, de l’émotion d’un texte, etc). Mais il est incapable de prendre des initiatives et des décisions, ou de deviner à la place du demandeur ce qu’il veut.

Je considère que l’IA n’est que le reflet de nous-même : imparfaite, biaisée, mais juste en beaucoup plus efficace.

InvokeAI est ton ami !

J’utilisais auparavant AUTOMATIC1111 comme front pour StableDiffusion et j’étais aussi perdu avec ses douze millions de paramètres bruts de fonderie. InvokeAI nécessite dans tous les cas d’apprendre les concepts de base, mais l’interface est beaucoup plus accessible et lisible.

En gros une fois que tu as compris la relation entre le CFG et les Steps, t’as l’essentiel via cet outil. Et il permet d’intégrer les LoRA de manière plus simple via une interface dédiée pour modifier leur poids. Mais le triggerword reste nécessaire quand le modèle en a un.

Quand la demande n’est pas précise, la réponse ne devrait pas l’être non plus.

Pour le coup, “une personne indienne”, “une personne française”, c’est déjà une demande ayant un minimum de précision puisqu’on a dedans le sujet (un être humain) et le style (le pays d’affiliation). Mais comme elle reste vague, l’IA génère ce que n’importe qui aurait généré quand on parle d’un citoyen d’un pays ou d’une ethnie… Un cliché. Parce qu’on est conditionnés ainsi et qu’on a besoin de repères.

Si on demande “une personne” (demande encore plus imprécise), il y a de fortes chances que le modèle produise un homme de type Caucasien (j’ai éteint le PC avec SD, sinon j’aurai posté des exemples comme tout à l’heure). Pourtant c’est déjà un biais, puisque cela signifie que cette ethnie et ce sexe sont majoritaires, dont un réflexe, du point de vue du modèle.

J’ai donc du mal à comprendre le point sur le fait qu’un demande imprécise devrait donner un résultat imprécis. Dire “une personne” devrait faire un homme-bâton ? Sauf que c’est pas une femme-bâton (symbolisée avec une jupe, encore un cliché).

La question est avant tout éducative au sujet de l’usage de ces outils. Et comme les stock footages sont déjà blindés de clichés (dans tous les sens du terme, à nouveau), autant dire que l’IA n’y changera pas grand chose dans le cas des magazines.

(quote:2159776:127.0.0.1)
J’y pense: ça doit être sympa de jouer au pictionary avec des progressistes. non ?

Pour le coup, c’est pas faux, et ça me rappelle les passages de South Park avec les “PC babies” et toutes les torsions mentales que les parents devaient faire pour rester dans le dogme.

guildem a dit:

Je suis tout à fait d’accord avec toi : les moteurs de recherche d’images et les banques d’images (gratuites comme payantes) nourrissent les clichés depuis des années, ce que le cinéma faisait avant, ce que les livres faisaient avant, … Ça peut être bien d’essayer de pas foirer ça avec les IA :)

C’est pour ça que je pense qu’il faut plus une éducation à l’usage des outils (le côté “responsable” que les vendeurs de solutions IA essayent de mettre en avant) pour savoir qu’ils ont ces biais et qu’ils ne pourront pas les corriger magiquement.

Je te rejoins aussi sur la quantité, si le modèle génère toujours la même chose c’est bien la preuve qu’il y a un biais dans son entraînement. Pour la génération d’image, je pense que le seul moyen est d’avoir des dataset d’entraînement qui soient le plus égalitaire possible sur les critères, mais aussi pour les dataset de validation. Afin que “a person” soit considéré comme “a person” peu importe son ethnie. Car oui, le risque est qu’une “personne” de type africaine ou asiatique ne soit pas considérée comme telle par l’IA si elle est a majoritairement été entraînée sur des profils type caucasiens.

Là dessus, pour l’entraînement, ce n’est pas qu’un affaire d’entreprise vendeuse d’IA pour le coup. C’est global car “n’importe qui” peut entraîner un modèle StableDiffusion.

Mais il restera que des critères resteront tout de même des clichés ou des stéréotypes. Typiquement, si je prompt 100 fois “a French person” comme je l’ai fait tout à l’heure, j’aurais, je pense, à coup sûr cent fois des hommes et femmes de type européen. Et jamais de personnes de type maghrébines ou asiatiques quand bien même cela représente une bonne part de notre population.

Premier lot avec “a photo of a representative group of French people” dont “representative” a visiblement été interprété comme députée. Pas concluant en matière de diversité ethnique française cela dit.

Par contre “a photo of people representing of France’s cultural diversity” a eu le résultat escompté. Mais cela dit, je pense que le modèle a juste pris en compte “diversity” sans chercher à le mettre en relation avec la France. Dans ce prompt, le seul impact que “France” a est le drapeau souvent mal rendu et l’arrière plan plutôt parisien.

Comme quoi, il suffit de peu de choses. On en revient avec le fait que oui, ça dépend aussi de ce qu’attend la personne ayant lancé le prompt. Si elle n’est pas sensible à ce type de biais, elle s’en foutra. Une personne plus sensible à la diversité cherchera un résultant en accord avec ses convictions.

Comme je disais précédemment, à titre personnel je préfère explicitement demander ce type de critère lorsqu’ils ont une importance dans mon besoin. Le reste du temps, je ne suis pas sensible à ce genre de sujet (la différence ethnique m’indiffère) mais j’ai conscience que l’outil va produire ce qu’il considère être “la norme” vis à vis de son entraînement. C’est aussi la raison pour laquelle il faut varier les modèles et les accompagner de LoRA.

En fait les LoRA et Textual Inversion sont des moyens de personnaliser ou étendre la compréhension du sujet par SD.

Lse modèles de base ont des limitations, typiquement ils ont tendance à faire la même tronche pour un type de personnage demandé. Ils ont généralement besoin d’un “trigger word” pour fonctionner, c’est à dire un mot clé à rajouter dans le prompt auquel on adjoint un poids pour jauger son influence sur le résultat.

Par exemple sur ce LoRA “pop art” il faut spécifier “POP ART” dans son prompt. Dans cette image tu as le prompt utilisé par la personne. Le LoRA est indiqué de la façon suivante : <lora:pop_art_v2:0.7>. Perso je me suis surtout beaucoup basé sur les prompts des rendus qui m’intéressaient pour apprendre à utiliser tout ça.

InvokeAI fait une légère abstraction de cette syntaxe (c’est du pur SD). Dans les menus à gauche tu auras LoRA (attention, un LoRA est comme un modèle, donc il faut qu’il soit fait pour SDXL si ton modèle de base est un SDXL, ici le “Pop Art” est un SD 1.5) dans lequel tu peux sélectionner ceux que tu as installé et tu obtiens une jauge pour son influence. Tu ajoutes “pop art” à ton prompt et, en principe, ton résultat va se styliser avec le poids du LoRA.

Concernant ton rendu, j’ai aussi eu le coup plus d’une fois. Après, je te cache pas que je fais rarement du visage. Au même titre que le photographe amateur que je suis ne fait pas dans l’humain, généralement je me contente de mettre des personnages de dos ou sans visage pour laisser cette partie à la discrétion de l’imagination de chacun.

Néanmoins si je peux donner quelques idées sans grande prétention : dans un premier temps, il faut voir les conseils donnés par le créateur du modèle. Généralement ils recommandent un sampler, le nombre de steps et le CFG. Exemple sur mon chouchou du moment ils recommandent le mettre 40 à 60 steps, CFG 5 à 7, et Euler ou DPM ++ SDE Karass en sampler. En toute transparence, le sampler reste encore un peu mystique pour moi malgré le temps passé à jouer avec cet outil. J’utiise principalement le second cité et j’ai souvent des bons résultats. Après dans un batch de 9 images, j’ai rarement plus d’un qui me plait vraiment. Mais depuis que InvokeAI a mis en place son gestionnaire de file, je modifie le prompt, renvoie dans la file, et laisse le PC me réchauffer les doigts de pieds pendant que je fais autre chose.

La doc du prompt engineering est plutôt bien accessible cela dit. Après en regardant un peu, si l’option “hires fix” n’existe pas sous forme d’une case à cocher dans InvokeAI, ils ne l’ont pas encore implémentée et elle est accessible via les workflows. Il y a aussi un petit article sur Civitai que j’aime bien sur les conseils de prompt pour SDXL car il a pas mal changé la donne par rapport à SD 1 et 1.5. Après, le refiner et le canevas pour l’inpainting permet de faire de sacrés trucs dans cet outil. Là où sur AUTOMATIC1111 ça me saoulait d’avoir une fenêtre de la taille d’un timbre poste pour faire de la modif de précision…

Bref, j’espère que ça te filera des billes

tazvld a dit:

J’ai justement essayé invokeAI (merci au passage, ça va surement pouvoir m’aider), je trouve les résultats très bizarres, avec une interprétation très “artistique” de ce que j’ai demandé. Je ne sais pas d’où ça vient. Mais typiquement, l’envie de faire une photo d’un conseil municipale est assez typique de cette interprétation assez personnelle que j’ai eue. Ce qui est amusant, c’est qu’entre les 2 prompts, c’est le changement de la moyenne d’age. Mais je pense que ça vient justement des campagnes pro diversité qui, à mes souvenirs, montrent plutôt des jeunes (ça vise aussi cette tranche d’âge et il a été démontré que l’empathie fonctionne mieux face à une personne qui te ressemble).

La différence tu la vois à modèle égal ? Je ne vois pas ce qui ferait que le front impacte le prompt du modèle en fait. Mais j’atteins aussi mes limites de connaissances sur le sujet donc il y a peut-être des notions qui m’échappent encore.

Typiquement celui que j’utilise indique avoir comme objectif d’inclure le plus de diversité possible dedans, ce qui peut expliquer ces rendus très “diversity stock footage”. Ce genre de comparatif est aussi à faire en variant les modèles, mais honnêtement, j’ai autre chose à foutre