Connexion
Abonnez-vous

Meta admet avoir entraîné son modèle Llama sur du contenu piraté

Meta admet avoir entraîné son modèle Llama sur du contenu piraté

Le 17 janvier à 06h58

Meta admet avoir intégré le jeu de données Book3 au jeu d’entraînement de son grand modèle de langage Llama.

Si un journaliste de The Atlantic l’avait déjà démontré, TorrentFreak a repéré la confirmation apportée par l’entreprise elle-même dans les documents soumis à la justice américaine dans le cadre de la plainte qui oppose plusieurs artistes (un groupe différent de ceux qui ont attaqué OpenAI, Stable Diffusion, Midjourney et DeviantArt) aux géants numériques.

En effet, Book3 a été construite en 2020 par le chercheur en IA Shawn Presser, à partir d’un scrap de la bibliothèque « pirate » Bibliotik. La base de données a longtemps été laissé en libre accès dans l’idée qu’elle permettrait aux plus enthousiastes de créer de meilleurs modèles d’IA.

Quelques années plus tard, alors que de nombreuses entreprises privées s’activent dans le domaine de l’IA générative, l’intégration de ce jeu de données à l’entraînement de leurs machines fait émerger des problématiques de droits d’auteur proches de celles constatées du côté des modèles de génération d’images Midjourney, Dall-E et autre.

Le 17 janvier à 06h58

Commentaires (10)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
La base de données a longtemps été laissé en libre accès dans l’idée qu’elle permettrait aux plus enthousiastes de créer de meilleurs modèles d’IA.
En soit c'était déjà une bonne chose car cela permettait de savoir ce qu'il y avait dedans. Là où les datasets de la plupart des LLM commerciaux ou des générateurs d'images restent fermés.

LAION-5B utilisé pour Stable Diffusion et son modèle SDXL était lui aussi ouvert et consultable jusqu'à sa désactivation après la découverte dedans de contenu illégal. Ce qui provoque la question de l'analyse à priori de leur contenu avant entraînement. Sur un dataset fermé, à moins de faire assez de prompt engineering pour tenter d'espérer de faire cracher la pilule par le modèle, ça reste de la suspicion.

Après la question du droit d'auteur reste toujours intéressante dans le cas d'un entraînement d'IA : est-ce qu'apprendre à lire du texte sur ces contenus est une violation de celui-ci ? (je ne parle pas de l'aspect recracher le contenu dans le cas présent)

On verra ce que diront les décisions de justice.
votre avatar
Après la question du droit d'auteur reste toujours intéressante dans le cas d'un entraînement d'IA : est-ce qu'apprendre à lire du texte sur ces contenus est une violation de celui-ci ?
Encore une fois, c'est clairement du fair use.
votre avatar
Pas si clair que ça puisque des parties intéressées portent plainte.
votre avatar
Totalement, c'est même du "use" tout court, un texte est fait pour être lu.
Faudra-t-il faire lire les textes par un humain et poser un micro à côté pour que l'IA apprenne sur la voix de l'humain au lieu de lire le texte elle-même ? Une sorte d'air-gap entre le texte de l'IA. Le ridicule n'a jamais tué les ayant-droits.
votre avatar
Sauf que l'IA ne fait qu'assembler de manière statistique des bouts de réponse de son corpus.

C'est pas vraiment de la création ex-nihilo.
votre avatar
Encore une fois, c'est clairement du fair use.
On verra ce que diront les décisions de justice.
Ou alors j'ai manqué l'info, ce qui n'est pas impossible.
votre avatar
C'est plus compliqué que cela.

Le problème qui se pose aussi c'est qu'une IA recrache un peu trop violemment du contenu d'entrainement qui est protégé ce qui serait de la contrefaçon.

Le soucis est que l'IA comme son utilisateur peuvent ne pas réaliser cette problématique car ils ne contrôlent pas le résultat sur chaque oeuvre existante.

Alors qu'un auteur humain peut s'inspirer mais les risques de contrefaire par accidents sont assez minces.
votre avatar
Le commentateur initial avait exclu ce cas de son propos : (je ne parle pas de l'aspect recracher le contenu dans le cas présent). Donc, psikobare lui a répondu dans ce cadre là uniquement (même s'il n'a pas copié la partie entre parenthèses).

On est tous d'accord je crois que les cas de régurgitation trop violents sont bien des violations de droit d'auteur et au moins OpentAI dit que c'est un problème qu'ils essaient de corriger. On verra bien si c'est possible sans trop dégrader leurs IA génératives.
votre avatar
... fait émerger des problématiques de droits d’auteur ...
Ca fait surtout émerger la possibilité de soutirer de l'argent aux GAFAM sans avoir rien fait.
votre avatar
Un label pour les IA entraînées sans enfreindre le copyright.L'article parle également d'une législation faisant son chemin proposée au Congrès US pour obliger à la divulgation des datasets d'entraînement.

Meta admet avoir entraîné son modèle Llama sur du contenu piraté

Fermer