Rumman Chowdhury : « il faut investir autant dans la protection des utilisateurs que dans le développement de l’IA »

Rumman Chowdhury : « il faut investir autant dans la protection des utilisateurs que dans le développement de l’IA »

Les femmes, "canaris dans la mine" des violences numériques

Avatar de l'auteur

Mathilde Saliou

Publié dansIA et algorithmesSociété numérique

14/11/2023
7
Rumman Chowdhury : « il faut investir autant dans la protection des utilisateurs que dans le développement de l’IA »

Ancienne directrice de l'éthique chez Twitter, Rumman Chowdhury a réalisé pour l'UNESCO un rapport sur les violences de genre facilitées par la technologie à l’ère de l’IA générative. Elle alerte sur l'importance de développer des outils et des mécanismes de protections en même temps que les outils d'IA génératives sont rendus accessibles.

L’intelligence artificielle (IA) générative « révolutionne » les manières d’accéder, de produire, de recevoir et d’interagir avec du contenu, mais elle crée aussi de nouveaux risques qui menacent les droits humains, en particulier ceux des femmes et des filles.

Dans cet esprit, la data scientist et fondatrice Rumman Chowdhury, ancienne directrice pour l’éthique, la transparence et la responsabilité du machine learning chez Twitter, a produit pour l’UNESCO un rapport sur les violences de genre facilitées par la technologie à l’ère de l’IA générative avec l'aide de l’ingénieure Dhanya Lakshmi.

Le 13 novembre, les deux expertes présentaient publiquement cette étude, qui vient s’inscrire dans les travaux que l’UNESCO mène au long cours sur la transformation numérique et celle de l’IA. Et Rumman Chowdhury de planter directement le décor : « la plupart des violences et des abus constatés en ligne sont d’abord appliqués contre les communautés les plus désavantagées ». Malgré leur importance numérique, les femmes et les filles font partie de ces catégories minorisées, explique-t-elle.

« Dans le rapport, on écrit que les femmes sont les canaris au fond de la mine, car dans énormément de cas de violence numérique, les abus ont d’abord été testés contre elles avant d’être étendus à l’ensemble de la population. » L’expression désigne ces canaris, que les mineurs emmenaient autrefois au fond des mines de charbon. Si l’oiseau s’évanouissait ou mourrait, cela les alertait de la présence de gaz toxiques et de la nécessité de remonter à l’air libre.

Avant même l’ouverture de l’accès aux modèles d’IA génératrice au grand public, pointe Rumman Chowdhury, une étude de 2020 pointait que 58 % des jeunes femmes de la planète avaient déjà été exposées à une forme de violence de genre sur les réseaux sociaux. Outre la dimension de genre, c’est plus du quart des jeunes de 15 à 25 ans, proportion qui explique que l’UNESCO travaille aussi sur ces questions au long cours.

Dans le cas de l’IA générative, plusieurs types de violences sont déjà constatés contre les femmes et les filles. À court terme, l’accès à des outils comme ChatGPT, Stable Diffusion ou autres modèles de générations de textes et d’image permet notamment l’aggravation de campagnes de harcèlement – via l’usage de deepfakes pornographiques, par exemple –, leur massification, et l’apparition « d'abus involontaires ou indésirables » (unintended harms), liste Rumman Chowdhury.

Les femmes et les minorités, des canaris dans la mine

La suite est réservée à nos abonnés.

Déjà abonné ? Se connecter

Abonnez-vous
7
Avatar de l'auteur

Écrit par Mathilde Saliou

Tiens, en parlant de ça :

Chiffre et formules mathématiques sur un tableau

CVSS 4.0 : dur, dur, d’être un expert !

C’est comme CVSS 5.0 mais en moins bien

18:17 Sécu 1
Une tête de fusée siglée Starlink.

Starlink accessible à Gaza sous contrôle de l’administration israélienne

Géotechnopolitique

16:37 Web 19
Fibre optique

G-PON, XGS-PON et 50G-PON : jusqu’à 50 Gb/s en fibre optique

Il faudrait déjà généraliser la fibre

16:03 HardWeb 20

Sommaire de l'article

Introduction

Les femmes et les minorités, des canaris dans la mine

Chiffre et formules mathématiques sur un tableau

CVSS 4.0 : dur, dur, d’être un expert !

Sécu 1
Une tête de fusée siglée Starlink.

Starlink accessible à Gaza sous contrôle de l’administration israélienne

Web 19
Fibre optique

G-PON, XGS-PON et 50G-PON : jusqu’à 50 Gb/s en fibre optique

HardWeb 20
Photo d'un immeuble troué de part en part

Règlement sur la cyber-résilience : les instances européennes en passe de conclure un accord

DroitSécu 7
lexique IA parodie

AGI, GPAI, modèles de fondation… de quoi on parle ?

IA 7

#LeBrief : logiciels libres scientifiques, fermeture de compte Google, « fabriquer » des femmes pour l’inclusion

livre dématérialisé

Des chercheurs ont élaboré une technique d’extraction des données d’entrainement de ChatGPT

IAScience 3
Un chien avec des lunettes apprend sur une tablette

Devenir expert en sécurité informatique en 3 clics

Sécu 11
Logo ownCloud

ownCloud : faille béante dans les déploiements conteneurisés utilisant graphapi

Sécu 16
Le SoC Graviton4 d’Amazon AWS posé sur une table

Amazon re:invent : SoC Graviton4 (Arm), instance R8g et Trainium2 pour l’IA

Hard 7
Logo Comcybergend

Guéguerre des polices dans le cyber (OFAC et ComCyberMi)

Sécu 10

#LeBrief : faille 0-day dans Chrome, smartphones à Hong Kong, 25 ans de la Dreamcast

Mur d’OVHcloud à Roubaix, avec le logo OVHcloud

OVHcloud Summit 2023 : SecNumCloud, IA et Local Zones

HardWeb 2
algorithmes de la CAF

Transparence, discriminations : les questions soulevées par l’algorithme de la CAF

IASociété 62

Plainte contre l’alternative paiement ou publicité comportementale de Meta

DroitIA 33
Nuage (pour le cloud) avec de la foudre

Économie de la donnée et services de cloud : l’Arcep renforce ses troupes

DroitWeb 0
De vieux ciseaux posés sur une surface en bois

Plus de 60 % des demandes de suppression reçues par Google émanent de Russie

Société 5
Une vieille boussole posée sur un plan en bois

La Commission européenne et Google proposent deux bases de données de fact-checks

DroitWeb 3

#LeBrief : des fichiers Google Drive disparaissent, FreeBSD 14, caméras camouflées, OnePlus 12

Le poing Dev – round 6

Next 148

Produits dangereux sur le web : nouvelles obligations en vue pour les marketplaces

Droit 9
consommation de l'ia

Usages et frugalité : quelle place pour les IA dans la société de demain ?

IA 12

La NASA établit une liaison laser à 16 millions de km, les essais continuent

Science 17
Concept de CPU

Semi-conducteurs : un important accord entre l’Europe et l’Inde

Hard 7

#LeBrief : PS5 Slim en France, Valeo porte plainte contre NVIDIA, pertes publicitaires X/Twitter

Un mélange entre une réunion d’Anonymous et de tête d’ampoules, pour le meilleur et le pire

651e édition des LIDD : Liens Intelligents Du Dimanche

Web 30
Bannière de Flock avec des bomes sur un fond rouge

#Flock, le grand remplacement par les intelligences artificielles

Flock 34
Un Sébastien transformé en lapin par Flock pour imiter le Quoi de neuf Docteur des Looney Tunes

Quoi de neuf à la rédac’ #9 : LeBrief 2.0, ligne édito, dossiers de fond

Next 65
Le brief de ce matin n'est pas encore là

Partez acheter vos croissants
Et faites chauffer votre bouilloire,
Le brief arrive dans un instant,
Tout frais du matin, gardez espoir.

Commentaires (7)


RuMaRoCO Abonné
Il y a 2 semaines

J’ai du mal à appréhender avec cette expression “violences de genre”, ou plutôt ce à que ça sous-entend.
Ce que je veux dire, si on ne précise pas, cela vient à dire “violence fait un tout les genres” et dans ce cas là la précision ne sert plus.


Mathilde_S Abonné
Il y a 2 semaines

ah, bonne question. L’expression complète est “violence basée sur le genre”, que l’Unesco garde dans la version anglaise de son titre (gendered-based violence) mais qu’il raccourcit en français.
Même si les femmes et les filles sont statistiquement plus souvent visées, l’expression est précisément construite parce qu’elle peut s’appliquer à tous les genres, comme l’indique aussi le site de l’ONU femmes : https://www.unwomen.org/fr/what-we-do/ending-violence-against-women/faqs/types-of-violence
(Pour info, les féministes disent souvent que leur combat doit servir à tout le monde, hommes comme femmes, puisqu’il s’agit notamment de faire cesser toute injonction liées au genre.)



Par ailleurs, il me semble que préciser violence de genre reste utile, parce qu’elle sert à indiquer le motif de l’agression : dans les cas évoqués ici, c’est parce qu’il s’agit de femmes ou de filles que des internautes décident de les agresser.


RuMaRoCO Abonné
Il y a 2 semaines

Mathilde_S

ah, bonne question. L’expression complète est “violence basée sur le genre”, que l’Unesco garde dans la version anglaise de son titre (gendered-based violence) mais qu’il raccourcit en français. Même si les femmes et les filles sont statistiquement plus souvent visées, l’expression est précisément construite parce qu’elle peut s’appliquer à tous les genres, comme l’indique aussi le site de l’ONU femmes : https://www.unwomen.org/fr/what-we-do/ending-violence-against-women/faqs/types-of-violence (Pour info, les féministes disent souvent que leur combat doit servir à tout le monde, hommes comme femmes, puisqu’il s’agit notamment de faire cesser toute injonction liées au genre.)

Par ailleurs, il me semble que préciser violence de genre reste utile, parce qu’elle sert à indiquer le motif de l’agression : dans les cas évoqués ici, c’est parce qu’il s’agit de femmes ou de filles que des internautes décident de les agresser.

Possiblement, Je pense également, que ça permet d’inclure les violences de types homophobes et transgenre.



Cependant je pense que l’on se trompe de combat, car le propre d’une insulte c’est de “taper” sur ce que la personne considère comme une faiblesse une “honte”.
(Exemple : Je suis gros et j’en honte ; on me traite de gros forcement ça m’affecte.
Je suis brun, et on me traire de brun, ça n’a pas d’impacte sur moi car ce n’est pas une quelconque honte pour moi).



Rien à voir (ou un peu :D) Ce serait marrant un article un peu plus léger sur les “insultes” et leurs origines (Je pense que l’on remarquerait que la très grandes majorités sont liés au s.xe voir plus précisément à la femme (et à sa supposé (à tord) faiblesse, ou à un animal considéré comme nuisible et/ou souillé. )


darkjack Abonné
Il y a 2 semaines

Merci pour ces liens!


RuMaRoCO Abonné
Il y a 2 semaines

Désolé, l’idée a déjà été exploité à ce que je vois :-)


consommateurnumérique Abonné
Il y a 2 semaines

Dans le sud-ouest de l’Espagne, vingt jeunes filles mineures ont vu des photos d’elles nues circuler sur les réseaux sociaux. Ces photos au réalisme troublant ont été générées avec l’intelligence artificielle par leurs camarades de classe.



En Espagne, des photos de jeunes filles nues générées par l’IA font scandale - RTS.ch 18/11/2023