Les IA génératives tournent mal quand elles sont entraînées sur leurs propres données

Les modèles d'intelligence artificielle permettent de générer du texte, des images et des vidéos avec une incroyable facilité. Mais leur entrainement répétitif sur des données qu'ils ont eux-mêmes créées ferait apparaître des artefacts de plus en plus problématiques dans leurs résultats.

Depuis l'arrivée de ChatGPT, l'utilisation de modèles de langage et d'intelligence artificielle générative d'images et de vidéos a explosé et de plus en plus de données issues de ces outils se retrouvent sur Internet.

L'IA générative permet de créer des sites entiers sans qu'un humain ait à écrire un article ou à créer une image. Certains « crowd workers » les utilisent déjà pour fournir des réponses qui seront insérées dans de nouvelles bases d'entrainement. Une base de données contenant des images d'entrainement comme LAION-5B contient déjà des images générées par ce genre d'IA. Le site Have I been trained permet d'ailleurs de savoir si une image a déjà été utilisée pour entrainer des IA.

• Dangers des grands modèles de langage : des chercheuses avaient prévenu
• Tech Generation, le site qui teste ce que ChatGPT sait faire en journalisme tech
• Quand chatGPT est utilisé par les « crowd workers » pour entraîner d'autres modèles de langage

Mais nous avons encore du mal à comprendre quels impacts cette masse de contenus générés de façon automatique peut avoir sur notre utilisation d'internet ainsi que sur l'entrainement de ces IA elles-mêmes.

Une étude, mise en ligne [PDF] sur le site arXiv par des chercheurs des universités de Rice et de Stanford, montre qu'au bout de cinq itérations d'entrainement sur des données fabriquées par une de ces IA, celle-ci amplifie leurs biais et artéfacts de manière visible.

Exemple sur un modèle de génération d'images

Pour nous rendre saillant le problème, Sina Alemohammad et ses collègues ont fait un test sur StyleGAN-2, un modèle créé par des chercheurs de NVIDIA. Ils ont d'abord utilisé ce modèle pour créer une base de données d'images. Puis, ils l'ont ré-entrainé avec cette base de données ne contenant que des images « synthétiques ». Et ainsi de suite, créant ce qu'ils appellent « une boucle totalement synthétique ».

Petit à petit, on voit apparaître les artéfacts et biais ressortir de ces images qui ne sont clairement plus des images « comme les autres ». Ci-dessous, dans la succession d'images provenant des différentes générations du test, des hachures non visibles sur la première génération d'images commencent doucement à être perceptibles en troisième génération et devenir franchement problématiques à partir de la cinquième.

Autophagie et éloignement des données réelles

Cet exemple illustre ce qu'ils ont constaté aussi sur d'autres modèles et qu'ils théorisent dans leur article. Ce processus répété crée ce qu'ils appellent une boucle « autophage » (qui se consomme elle-même).  « Sans suffisamment de données fraîches réelles à chaque génération d'une boucle autophage, les futurs modèles génératifs sont condamnés à voir leur qualité (précision) ou leur diversité (rappel) diminuer progressivement », expliquent-ils.

En comparant les données créées dans une « boucle totalement synthétique » avec de réelles données, ils observent, comme on peut le voir ci-dessous, que les données « synthétiques » s'éloignent petit à petit des données « réelles » et forment petit à petit un groupe de données bien distinct par rapport aux autres alors que ce n'était pas le cas dans les premières générations.

Si la « boucle totalement synthétique » est appliquée sur des données ayant des biais d'échantillonnage, les données ne fusionnent pas, mais on peut observer ci-dessous qu'elles dérivent en se regroupant autour de certains points (de haute qualité, précisent les chercheurs).

Les chercheurs admettent dans leur article qu'en pratique, il y a peu de chance que les créateurs de ce genre de base de données ne le fassent qu'avec des données « synthétiques ».

Ils ont donc observé ce qu'il se passait dans le cas où les données d'apprentissage sont constituées d'un ensemble de données réelles fixe, progressivement complété par des données synthétiques, ce qu'ils ont appelé une « boucle d'augmentation synthétique ». Mais, selon leur expérience, « un ensemble de données réelles fixe ne fait que ralentir la dégradation des modèles génératifs ».

Ce n'est qu'en ajoutant seulement des données réelles « fraiches » qu'ils arrivent à ce que les modèles ne tombent pas dans un « Model Autophagy Disorder » (MAD), en français, trouble de l'autophagie de modèle.

Des modèles « fous » ou juste « bugués » ?

« Model Autophagy Disorder », le terme inventé par Sina Alemohammad et ses collègues, rappelle le vocabulaire médical. Et son acronyme, MAD, résonne clairement comme la volonté de poser un diagnostic psychiatrique sur ces modèles. D'autant que l'on peut lire aussi dans leur article des phrases évoquant, avec une pointe d'ironie, la folie, par exemple, « Training exclusively on synthetic data leads to MADness » (littéralement en français, « Entraîner exclusivement sur des données synthétiques conduit à la folie »).

Si leur article montre de façon convaincante une vraie question sur l'utilisation des données « synthétiques » et nous donne des clés pour comprendre leurs bugs, cette utilisation du vocabulaire médical paraît plus problématique pour ne pas tomber dans les travers de l'anthropomorphisme pointé parfois par la linguiste Emily Bender.

Il n'en reste pas moins que les auteurs de cette étude sont clairs : « selon un scénario catastrophe, si le MAD n'est pas contrôlé pendant plusieurs générations, il pourrait empoisonner la qualité et la diversité des données de l'ensemble de l'internet. En l'absence d'un tel scénario, il semble inévitable que l'autophagie de l'IA entraîne, même à court terme, des conséquences imprévues jusqu'à présent ». Ils demandent aux praticiens qui « utilisent délibérément des données synthétiques pour l'entrainement parce que c'est bon marché et facile » de prendre leurs conclusions comme un avertissement et d'envisager de tempérer leurs habitudes.

Les chercheurs proposent aussi, « étant donné que les modèles génératifs n'ajoutent pas nécessairement des métadonnées aux images générées », que les utilisateurs ajoutent des filigranes à leurs images ainsi générées, pour qu'elles soient rejetées lors de la création de base de données d'entrainement. Cette proposition ne vaut, en revanche, pas pour les textes.