Quand des réseaux d’images non consenties à caractère sexuel pullulent sur Telegram
Very Large Harassment Channels
Dans un rapport intitulé « Le harcèlement comme infrastructure », AI Forensics analyse la manière dont Telegram est utilisé comme lieu de dépôt et d’échange de contenus non consentis à caractère sexuel par des milliers d’internautes espagnols et italiens. Pour l’ONG, l’Union européenne devrait notamment faire du réseau social une très grande plateforme au sens du règlement sur les services numériques pour la soumettre à de plus fortes obligations.
Mise à jour 12:44 : ajout de la réponse détaillée de Telegram.
Des groupes de plusieurs dizaines de milliers de personnes, des contenus à caractère sexuel diffusés, voire produits sans consentement, et échangés contre monétisation, des abonnements mensuels pour accéder à une variété de contenus au milieu desquels se logent du matériel représentant des agressions sexuelles sur mineurs (child sexual abuse material, CSAM), des représentations d’incestes ou de viols…
Tel est le vaste écosystème qui prolifère sur Telegram, que les internautes utilisent comme dépôt pour des contenus obtenus ailleurs, que ce soit sur des comptes TikTok, Instagram, ou dans des conversations privées tenues sur les plateformes de Meta (WhatsApp inclus). Reddit est une autre plateforme importante de ce réseau, le plus souvent utilisée pour diffuser les invitations qui mèneront aux canaux Telegram en question.
En s’appuyant sur la collecte de 2,8 millions de messages collectés dans 16 groupes et canaux Telegram différents sur une période de six semaines, l’ONG AI Forensics publie ce 8 avril une étude de l’ « écosystème d’agression largement automatisé » qui se déploie dans au moins deux aires géographiques : l’Italie et l’Espagne.
Pour ses autrices et auteurs, menés par la sociologue Silvia Semenzin et le directeur de recherche d’AI Forensics Salvatore Romano, cette continuité d’une plateforme à l’autre appelle à une approche « plus holistique » que ce qui existe pour le moment dans la lutte contre les agressions sexuelles par images (IBSA, image-based sexual abuse).
Dizaines de milliers de contenus non consentis à caractère sexuel
Concrètement, les auteurs du rapport ont repéré 24 571 comptes actifs ayant diffusé au moins un message violent pendant la période observée, intégrés dans des groupes dont l’audimat peut grimper à 25 000 membres en Espagne, voire 27 000 en Italie.
Loin de rester dans une seule zone géographique, les autrices de l’étude constatent que 72 % des contenus espagnols sont aussi disponibles dans les groupes italiens. Au total, 8 % de tous les médias analysés sont disponibles dans les deux zones étudiées.
Commentaires (8)
Le 8 avril à 16h39
Le 8 avril à 16h54
Le 8 avril à 18h00
Pour moi le problème est et reste qu'il y a des gens qui veulent faire ce genre de chose et qui veulent le diffuser - quelque soit la raison.
Là le focus est sur Telegram, demain même si Telegram devient la plus modéré /contrôlé des messagerie d'autres plateformes viendront combler le vide.
Pareil pour la régulation de l'IA: C'est bien de le faire car ça envoie un message et ça permet de poursuivre juridiquement après-coup, mais à condition de ne pas se faire d'illusion.
D'autres pays permettrons d'utiliser les IA sans ces conditions, et même il deviendra possible de faire tourner des modèles chez soit ou sur des machines loués dédiés "as a service".
Je comprends pas pourquoi on mets tant d'effort sur la gestion des conséquences mais pratiquement aucun sur la prévention et l'éducation.
Tant que le harcèlement (quelque soit le moyen) n'est pas perçu par la plupart des gens comme aussi révulsant que de manger son caca , tant que ça restera "marrant", il y aura des gens pour vouloir le faire et donc des gens pour proposer ce service. Quitte à jouer sur les différences juridique entre les pays.
Et la démocratisation des IA & leur facilité d'accès ne feront qu'amplifier le phénomène.
Le 8 avril à 20h39
Je ne sais pas pourquoi ça m'étonne toujours cette façon de relativiser la responsabilité d'organisations sociales comme des entreprises, des plateformes numériques, des institution, etc, et de mettre l'accent sur l'individu. C'est un vieux réflexe rassurant très humain : on se construit l'image de moutons noirs qui valorise les valeurs du groupe auquel on appartient ou croit appartenir - ça évite de remettre en cause l'ordre moral, l'ordre public souhaité ou fantasmé.
Le 9 avril à 10h37
Moi je ne comprends pas trop la relation entre le 1er paragraphe et le second:
Je suis d'accord qu'un monde "lisse" serait invivable ( ça me fait penser d'ailleurs à "Un Bonheur Insoutenable" d'Ira Levin). Pour autant je ne vois pas ce que relativiser la responsabilité des individus va faire pour aider au problème du harcèlement. On peux harceler sans aucune technologie, ni réseaux sociaux et autres. Pour moi le harcèlement est justement l’archétype d'un comportement individuel (ce qui ne veux pas dire qu'il n'est pas induit par un contexte social) nuisible - la technologie n'est qu'un outil au même titre que ses poings ou que la voix.
Donc pour moi la question revient à savoir si on souhaite , en tant que groupe humain, supprimer cette pulsion à harceler ou pas. Et si oui, est-ce qu'on veux le faire par l'éducation, l'habitude et l'empathie, ou bien si l'on ne considère que la punition comme mécanisme de suppression (et donc par définition à postériori des faits).
Ca n'empêche pas que les organisations peuvent être tenues responsables des choix technologiques et/ou commerciaux réalisés, ne serait-ce que pour éviter l'hypocrisie.
Mais pour moi il ne faut pas se faire d'illusion.
A partir du moment où il y a cette "demande individuelle" + une interdiction décrétée, ça renchérie simplement le risque pour satisfaire cette demande, et donc le prix que les usagers devront payer. Et à partir de là ça va nécessairement augmenter le nombre de gens prêt à prendre le risque de violer la loi pour s'enrichir, et donc démocratiser l'offre.
Un exemple typique pour moi c'est la drogue: Ça n'a jamais été davantage réprimé, et pourtant ça jamais été moins cher et plus répandu qu'actuellement. Et plus on fait des opérations coup de poing, et plus la situation dérive. La même chose arrive plus où moins avec les spams, le fishing, le cryptolocking,...
Et là il me semble qu'on prends exactement le même chemin avec les IA "dénudeuses" pour satisfaire les pulsions harceleuses de certains.
Alors oui, le bâton a toujours été plus facile et plus rapide à manier que la carotte. Mais à un moment, les faits sont têtus... quand ça marche pas, ça marche pas.
Modifié le 9 avril à 08h25
Je ne la reprends pas nécessairement parce que 1/ ce sont des mesures de temps beaucoup plus long que certaines réactions techniques et légales sur les outils qui participent à amplifier des contenus problématiques, 2/ ça finirait par devenir répétitif.
Un troisième point serait que l'éducation à ces enjeux est elle-même sujette à débats, plus difficiles à traiter dans Next car moins directement lié aux enjeux numériques. En dehors de l'éducation au numérique / aux médias qui pourraient nous intéresser ici, en effet, l'éducation sur les questions de consentement, de respect de l'autre quel que soit son genre, orientation sexuelle, etc relève en effet de l'EVARS (éducation à la vie affective, relationnelle, et à la sexualité). Or, en France, quand bien même l'éducation sexuelle est théoriquement obligatoire depuis 2001, le respect de la loi et la mise en place de programmes complets est toujours sujette à tiraillements, notamment parce que certains contestent le simple bien-fondé d'aborder ces différents sujets à l'école.
Pour aller plus loin, wikipedia a une page assez fournie, et sinon, quelques liens sur des débats récents relatifs à l'EVARS.
Education affective et sexuelle : on vous explique la polémique lancée par les milieux conservateurs au sujet de ce programme scolaire
Education à la vie affective et sexuelle : dans les établissements catholiques privés, l’Evars dévoyée
Le 9 avril à 10h00
Merci également pour les liens !
Le 9 avril à 11h01
Rappel : l'idée derrière ce truc est d'imposer aux opérateurs de scanner l'ensemble des messages qui passent sur leurs plate-formes pour s'assurer qu'il n'y a pas échange de contenu pédopornographique. Le but est noble, le moyen est... plus que moyen.
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?