Le prompt est aujourd’hui la chose la plus chiante pour la génération d’image. Même s’il est en langage naturel et que le modèle comprend aussi bien une requête du type “a portrait of a woman working in an office, high resolution, open space, working on computer” que “she is an office worker using her computer in an open space”, il reste très mécanique et donne plus l’impression de taper une série de mots clés qu’une réelle description naturelle.

Bien que SDXL ait pas mal évolué sur ce point (notamment avec les quatre champs pour mieux définir le poids de chaque élément), ça reste assez complexe car il faut prendre en considération l’ordre dans lequel le modèle va process le prompt, les poids à donner, ajuster les LoRA, etc.

La liaison avec GPT est clairement un bond en avant.

Mais au fond je sentais que ça allait finir par arriver.

Et le risque est que ça rende encore plus opaques les entraînements, très mauvais signal alors que l’absence de transparence est l’un des gros problèmes de l’IA générative…

Liam a dit:

Pour moi ça pose toujours des problèmes de confidentialité la production en ligne. Et les tarifs sont souvent un peu dissuasifs pour apprendre et tâtonner (et donc réessayer beaucoup de fois pour un seul résultat potable).

Oui, absolument.

OpenAI ne m’inspire pas confiance dans ses offres Enterprise censées être plus privées et encadrées car historiquement ils ont eu des problèmes de cloisonnement et fuites à répétition. Et la sécurisation de ChatGPT ne fait pas de lui une vitrine sur ce sujet.

Microsoft propose la même chose via son partenariat avec eux mais comme toute offre Cloud, l’engagement de confidentialité n’est que contractuel. Il est difficile pour le client de la vérifier. Dans l’offre de MS ce sont des instances privées du modèle où celui-ci est mis à dispo du client de manière isolée pour qu’il puisse l’entraîner avec ses données. Mais là aussi c’est tout sur base d’un contrat, à aucun moment cela n’est vraiment vérifiable.

(et dans tous les cas, que ce soit OpenAI ou Microsoft, tout est chez Azure)

Travaillant moi-même sur un sujet d’intégration d’outil basé IA générative pour une paire de clients, autant dire que les ³⁄₄ des questions ne sont pas techniques mais juridiques. J’ai jamais autant bossé avec les DPO et le juridique pour le coup
Au même titre que les interlocuteurs de MS en face ne sont pas les usuels archi solutions ou sales, mais le juridique aussi.

(questions du type : s’assurer que les données personnelles ne finissent pas dans le modèle, durée de rétention, garanties sur la réutilisation, etc)

Sujet super intéressant pour le coup qui montre combien l’IT et le juridique sont étroitement liés.