Connexion
Abonnez-vous

Un « point de bascule » concernant les images d’abus sexuels d’enfants générées par IA

Le 18 octobre à 16h03

L'Internet Watch Foundation, ONG qui gère la hotline des signalements de photos ou de vidéos d'abus sexuels sur enfants sur Internet, tire la sonnette d'alarme sur les contenus pédopornographiques générés par IA.

Elle explique rencontrer de plus en plus de contenus d'abus sexuels d'enfants créés en utilisant les technologies d'intelligence artificielle sur des sites aisément accessibles.

L'IWF ajoute avoir agi à propos de 74 signalements pour de tels contenus entre avril et fin septembre (une période de 6 mois donc). Elle avait agi sur 70 signalements sur la période des 12 mois précédents, entre avril 2023 et avril 2024.

Pour 99 % de ces contenus, aucun navigateur spécifique comme Tor Browser n'était nécessaire pour y accéder.

La plupart d'entre eux (78 %) lui ont d'abord été signalés par des internautes qui sont tombés sur un forum ou une galerie d'images générées par IA. Le reste a été détecté par les analystes de l'ONG en cherchant de manière proactive.

Mais, en plus du problème de la profusion d'images de ce type, l'Internet Watch Foundation explique que la détection de photos pédocriminelles réelles risque d'en pâtir.

Un de ses analystes témoigne : « Je trouve cela vraiment effrayant, car j'ai l'impression que nous sommes à un point de basculement et que des organisations comme nous et la police risquent d'être submergées par des centaines et des centaines de nouvelles images, sans que nous sachions toujours s'il s'agit d'un véritable enfant qui a besoin d'aide ».

L'ONG signale que plus de la moitié des serveurs qui hébergeaient ce type de contenus se trouvaient dans deux pays : 27 en Russie, 16 aux États-Unis. Le Japon et les Pays-Bas suivent avec respectivement 8 et 6 des serveurs. 3 de ces serveurs se trouvaient en France et un seul des serveurs listés par l'IWF n'était accessible que via une URL en .onion.

L'IWF rappelle que ses analystes continuent de repérer des images de victimes de pédocriminalité utilisées pour générer de nouvelles images et des deepfakes de violences sexuelles.

Le 18 octobre à 16h03

Commentaires (26)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
Comment ils savent où sont les serveurs en .onion ?
votre avatar
Ils ne savent pas, justement. Tous les serveurs concernés par un signalement, sauf 1, n'étaient pas en .onion.
votre avatar
Ah, j'ai mal compris cette phrase alors :
de ces serveurs se trouvaient en France et un seul des serveurs listés par l'IWF n'était accessible que via une URL en .onion.
Je pensais qu'un des trois serveurs en France était en .onion… (me manquait le "et" entre les deux 😅)
votre avatar
la détection de photos pédocriminelles réelles risque d'en pâtir.
Avec les IA génératives, le concept de "réalité" s'estompe peu à peu.
La loi devra choisir entre:
- étendre la criminalité aux contenus générés artificiellement.
- autoriser les contenus générés artificiellement, même s'ils sont photoréalistes .
votre avatar
La loi a déjà choisi : les images générées artificiellement (ou humainement aussi, comme les dessins) sont interdites.

L'intérêt de détecter les images réelles, c'est pour retrouver les enfants.
votre avatar
Seule la diffusion (ou la volonté de diffuser) l'image est illégal.
Cf. article 227-23 du Code pénal.

Le problème avec l'IA c'est que tu peux/pourras générer cette image sur ton PC "IA ready" à partir d'un prompt... un prompt qui n'est finalement que du texte. Du texte qu'on peut diffuser car il n'est pas soumis à l'article 227-23 qui se limite à la diffusion d'image ou de représentation.

Pas si simple de légiférer sur un tel sujet.
votre avatar
Top pour l'article que je n'avais plus en tête.

La question de légiférer peut se poser, et au delà celle du bien-être mental et d'une partie de la société assez malade pour se servir d'un outil aussi puissant et récent pour faire ce genre d'ignobles actes... Les gens (enfin certains et une minorité) n'ont donc aucune limite.
votre avatar
La pédophilie EST une maladie psychiatrique, et beaucoup de pédophiles ne se font pas soigner par honte alors que ça pourrait les empêcher de passer à l’acte.
votre avatar
Pour information, le terme légal concernant cette horreur est pédocriminalité.
votre avatar
Vrai, peut être qu'un jour la médecine verra la psychiatrie différemment et d'un nouvel oeil avec les récentes recherches (et surtout futur) sur le fonctionnement du cerveau.
votre avatar
Le fait … de détenir une telle image ou représentation par quelque moyen que ce soit est puni de cinq ans d'emprisonnement et de 75 000 euros d'amende
 

Et sinon, pour le prompt au lieu de l'image, ça va être comme pour les url vers des torrents illégaux ou le code source de DeCSS : ça sera certainement assimilé au fichier en lui-même.
votre avatar
je ne suis pas sûr que tu aies déjà vu un prompt, ou essayé de générer des images avec les moteurs d'IA, en pratique, je suis à peu près certain qu'avec une phrase relativement anodine tu peux faire de belles saloperies - et je le dis au vu de surprises que j'ai pu avoir avec ces outils, sans forcément chercher. Comment tu veux pénaliser un prompt...?
(au passage, corrigez-moi si je me trompe, mais le fichier torrent n'a rien d'illégal, ce qui est pénalisé, c'est le fait de partager des bouts du fichier qui se trouve derrière)
votre avatar
Concernant le fait qu'un fichier torrent (la mise en relation) soit assimilé au contenu illégal, as-tu une source juridique ?

Dans le cas de l'article cité du code pénal, ici c'est le visuel qui est retenu (image ou représentation - je suppose que le second concerne les dessins par exemple) et l'application est stricte. Commencer à légiférer sur du texte risquerait d'avoir un effet de bord plutôt risqué dans le domaine de l'écriture (les histoires de romance entre majeur et mineur ne doivent pas être rares dans la littérature je pense). Si une évolution du code pénal devait avoir lieu pour intégrer l'IA générative, il devrait plutôt inclure le mot "générer" ou "produire" avec "fixer, enregistrer ou transmettre".
votre avatar
(les histoires de romance entre majeur et mineur ne doivent pas être rares dans la littérature je pense)
J'ai immédiatement pensé au Marquis de Sade. Et je suppose qu'il y en a pas mal d'autre en remontant comme ça au 18ème, puisque c'était une période où des filles se mariaient (de force) à des hommes significativement plus âgés.
votre avatar
Les très célèbres Abélard (36 ans) et Héloïse (17 ans), XIIe siècle.
Actuellement au Père-Lachaise.
votre avatar
Plus récent Esparbec a commis un certain nombre saloperies dans son œuvre .
votre avatar
votre avatar
(@anagrys aussi)

Comme ça non, mais sinon sur quelle base légale se feraient fermer les sites de partage de torrent ?

Un texte n'est pas une image ou une représentation, mais s'il permet d'y accéder alors, il est autant illégal que l'image.
votre avatar
Dans le cas des sites de téléchargement de contenus protégés par le droit d'auteur, c'est le code de la propriété intellectuelle qui s'applique. L'ex-Hadopi se trouve dedans.

Dans le cas de la contrefaçon, c'est l'atteinte au droit d'auteur qui est utilisée avec par exemple l'article L112-4 du code de propriété intellectuelle qui interdit la reproduction d'une oeuvre sans le consentement de l'auteur ou de ses ayants droits. Et concernant les plateformes de torrent, ce sont les articles L336 du même code qui servent de base (cas de Yggtorrent par exemple, décision de 2022, il y a encore eu le coup ce mois-ci mais je n'ai pas trouvé la décision).

Tu imagines qu'avec le raisonnement que tu proposes, tu rends illégal l'Internet tout entier puisqu'il permet d'y accéder ? Dans le cas de la pédopornographie, on est dans le pénal, et ce code ne s'interprète pas, il s'applique strictement. La formule retenue dans le code de la propriété intellectuelle est "mise à disposition". Il ne rend pas illégal le torrent, uniquement l'usage à des fins de piratage.
votre avatar
Le fait … de détenir une telle image ou représentation par quelque moyen que ce soit est puni de cinq ans d'emprisonnement et de 75 000 euros d'amende
Effectivement cette partie de l'article est applicable, pour peu que le criminel garde un copie de l'image et ne la regénère pas à partir du prompt à chaque fois. Auquel cas on pourrait ajouter "générer" en plus de "acquérir ou de détenir".

Pour ma part, j'assimile plutôt "prompt+IA" à "fichier modèle+imprimante 3D". Je ne sais pas trop quel est l'état du droit de ce coté. J'ai l'impression que les imprimantes 3D ne se sont pas démocratisées au point de faire évoluer le droit.
votre avatar
Il y a eu un vent de panique pourtant sur les imprimantes 3D quelques années auparavant de la part d'industrielles qui y voyaient l'apocalypse.
votre avatar
De ce que j'ai retenu du débat de l'époque, c'était surtout la perte financière sur la vente des pièces qui inquiétait l'industrie.

Il n'y avait pas trop de réflexion sur l'aspect moral ou criminel, a part la fabrication de pièces pour faire/modifier des armes. Mais ca n'a pas eu d'impact sur les textes de loi, il me semble.
votre avatar
L'impression 3D a bien levé des inquiétudes sur la fabrication d'armes, mais aussi le viol de propriété intellectuelle.

Cependant, le cadre de la fabrication, détention et port d'arme est d'ores et déjà défini dans notre droit. Pas d'impact législatif à ma connaissance, car il n'y a pas de distinction entre une arme "traditionnelle" et une fabriquée par ce moyen.

Quant au second point, le cadre de la propriété intellectuelle ne semble pas avoir bougé non plus.

En fouillant un peu j'ai retrouvé une proposition de loi de 2016 (un peu farfelue dans son écriture d'ailleurs) qui n'a pas aboutie.

La différence avec le cas de l'IA ici est que, oui, la loi va peut-être devoir intégrer un critère supplémentaire pour indiquer que l'image est synthétisée par ordinateur sans réelle intervention humaine en dehors d'une requête. Le code pénal étant trop précis (ce qui est normal), il peut potentiellement ne pas considérer la génération d'images pédopornographies par IA comme illégales (vu qu'il considère "fixer" et "enregistrer"), par contre la détention ou la diffusion restent sanctionnées par le texte actuel dans la mesure où il ne fait plus de dinstinction du moyen de production à ce moment-là.
votre avatar
Les lois changent selon les pays à ce sujet, il me semble par exemple qu'aux states si c'est une œuvre dessin ou numérique et pas un vrai enfant ça n'est pas illégal (j'ai un vieux /board en tête). Je ne sais pas quelle est la mesure en France.

On avait eu une polémique avec Bastien Vives y a qques années en France avec sa BD d'un gamin avec une teub énorme.
votre avatar
Moi je me souvient plus de l'exception japonaise vis à vis des manga & anime sur le sujet
votre avatar
Il y avait des tentacules avec les collégiennes ? :D
Hentai powa.

Un « point de bascule » concernant les images d’abus sexuels d’enfants générées par IA

Fermer