Les afro-américains sont aussi discriminés par les assistants vocaux

Le 27 mars 2020 à 08h41

1 min

Sciences et espace

Sciences

Les systèmes de reconnaissance vocale ont plus de mal à comprendre les voix des utilisateurs noirs que celles des utilisateurs blancs, selon une nouvelle étude de Stanford repérée par The Verge.

Les chercheurs ont utilisé des outils de reconnaissance vocale d'Apple, d'Amazon, de Google, d'IBM et de Microsoft pour transcrire des entretiens avec 42 blancs et 73 noirs, aux États-Unis.

Les outils ont mal identifié des mots environ 19 % du temps pendant les entretiens avec des blancs et 35% du temps pendant les entretiens avec des noirs. 2 % des extraits audio de personnes blanches étaient illisibles, contre 20 % de ceux de personnes noires.

Les erreurs étaient particulièrement importantes pour les hommes noirs, avec un taux d'erreur de 41 % contre 30 % pour les femmes noires.

Sébastien Gavois

Le 27 mars 2020 à 08h41

Commentaires (33)

skankhunt42

Le 27/03/2020 à 08h50

L’article qui veut dénoncer les racistes et qui pour ça utilise des argument racistes. En fait c’est tout à fait normal, ce genre d’erreurs arrive selon la couleur dominante dans un pays. Un système de reco facial en chine aura du mal à reconnaitre des non bridés, alors qu’un système de reco facial en arabie saoudite pourra au passage vérifier l’acuité de tes yeux. De la même façon qu’en france qu’un chti qui passe à bfm sera sous titré.

ps : humour hein !

Groink

Le 27/03/2020 à 08h52

Alors déjà, comment une reconnaissance vocale, peut-elle reconnaître une couleur de peau ?

Réponse : elle n’a aucun moyen de le faire.

Donc aller dire qu’un assistant vocal discrimine sur la couleur de peau, c’est mensonger. Et émettre la conclusion que du coup, ça discrimine des afro-américains, c’est aussi un mensonge.

Comme en physique, ce n’est pas parce qu’on observe un certain résultat, qu’on sait en déduire correctement la cause.

Patch Abonné

Le 27/03/2020 à 09h12

Groink a écrit :

Alors déjà, comment une reconnaissance vocale, peut-elle reconnaître une couleur de peau ?

Réponse : elle n’a aucun moyen de le faire.

Donc aller dire qu’un assistant vocal discrimine sur la couleur de peau, c’est mensonger. Et émettre la conclusion que du coup, ça discrimine des afro-américains, c’est aussi un mensonge.

Comme en physique, ce n’est pas parce qu’on observe un certain résultat, qu’on sait en déduire correctement la cause.

Et hop, encore un qui fait des plans sur la comète en partant sur des conclusions personnelles biaisées…

Il y a une forme de discrimination, puisqu’ils ont des résultats bien moins bons. C’est tout, la conclusion (la vraie, pas la tienne) s’arrête là. Ils n’ont pas encore expliqué pquoi, et n’ont pas dit que c’était la couleur de peau qui était en cause (ca, c’est seulement ce que TOI tu en as déduit).

appotheos Abonné

Le 27/03/2020 à 09h16

Pas de discrimination ici, juste un manque d’échantillonnage.

Que je sache c’est basé sur du deep learning. Si une population veut être mieux reconnue, il faut nourrir l’IA avec des voix de cette dernière.

Pour la reconnaissance faciale chinoise dont parle @skankhunt42, l’état chinois a échanger des données photos avec des états africains pour améliorer celle-ci sur la reconnaissance des visages noirs.

CounterFragger

Le 27/03/2020 à 09h25

On a vraiment toutes les données de cette étude ? Quid de l’origine géographiques et sociale, qui seule conditionne l’accent des personnes, pas la couleur de peau ?

Qu’un système de reconnaissance vocale ait plus de mal à reconnaître des accents et des parlers “populaires”, ça n’a rien d’étonnant, c’est généralement calibré pour un accent “standard”. Qu’ils essaient maintenant avec des cockneys ou des écossais pur jus, les résultats risquent d’être étonnants…

Il suffit que les noirs de cette étude viennent pour la plupart de quartiers populaires pour que la conclusion ne veuille plus rien dire…

A titre personnel, je comprends nettement mieux les noirs dans les séries américaines avec leur timbre de voix plus grave, que les blancs et leur accent Donald Duck crispant… " />

jackjack2

Le 27/03/2020 à 09h38

Je mets un billet que les rednecks aussi sont moins bien compris

Où sont les pleurnichards pour penser à ces pauvres discriminés?

Ma mère est ch’ti, elle est moins bien comprise, c’est une discrimination ?

skankhunt42

Le 27/03/2020 à 09h38

Patch a écrit :

Ils n’ont pas encore expliqué pquoi

Ont sais très bien pourquoi mais de nos jours ont ne peut plus dire grand chose.

 

CounterFragger a écrit :

On a vraiment toutes les données de cette étude ?

Cet article c’est quand même de la vielle bite…

CounterFragger a écrit :

je comprends nettement mieux les noirs dans les séries américaines avec leur timbre de voix plus grave, que les blancs et leur accent Donald Duck crispant… " />

Pour certains c’est déjà des propos discriminatoire / raciste.

Okki Abonné

Le 27/03/2020 à 10h04

Je profite de cette actualité pour rappeler l’existence de Common Voice, projet de reconnaissance vocale libre auquel tout le monde peut contribuer (ce qui permet de passer le temps de façon utile en cette période de confinement) " />

C’est la seule véritable alternative aux grandes entreprises chinoises ou américaines, qui permettrait de construire des assistants personnels ou d’équiper les objets du quotidien d’une reconnaissance vocale respectueuse des utilisateurs et de leur vie privée.

Dj Abonné

Le 27/03/2020 à 10h04

jackjack2 a écrit :

Ma mère est ch’ti, elle est moins bien comprise, c’est une discrimination ?

Oui

Si Alexa ne la comprends pas c’est parce que les ingénieurs ont estimé que passer du temps pour qu’elle aie une réponse valable, ne valait pas la peine d’un pdv financier.

C’est donc une discrimination.

C’est pareil si elle téléphone a un service public et qu’on lui raccroche car la personne en face ne fait pas l’effort d’essayer de la comprendre

Guinnness

Le 27/03/2020 à 10h07

Pas mieux.

Si les assistants vocaux sont “calibrés” pour comprendre le New-Yorkais CSP-CSP+ (le client type pour ce genre de conneries en même temps) je soupçonne que ces machins doivent avoir nettement plus de difficultés à comprendre des populations à l’accent plus “typé” (pour avoir tenté, sans grand succès, de discuter avec un texan je doutes qu’un assistant vocal comprennent 100% de ce qu’il raconte, même les collègues du gars avaient parfois du mal à le comprendre alors qu’ils discutent avec tous les jours " />)

millman42 Abonné

Le 27/03/2020 à 10h12

A mon avis là on a plein dans le paradoxe de Simpson.

A ma connaissance la couleur de peau n’influe pas sur voie.

Le problème ne se situe sûrement donc pas sur la couleur de peau mais autre part.

Nerg34

Le 27/03/2020 à 10h26

Comme toujours, on donne des % sans les chiffres derrières. Cela ne veut rien dire… Si y’a 2 pelés dans chaque bras…

CounterFragger

Le 27/03/2020 à 10h39

Dj a écrit :

Oui

Si Alexa ne la comprends pas c’est parce que les ingénieurs ont estimé que passer du temps pour qu’elle aie une réponse valable, ne valait pas la peine d’un pdv financier.

Ou alors que compte tenu de l’immense variété d’accents et de dialectes dans le monde, qui parfois sonnent comme d’autres langues à part entière, il est impossible de tout répertorier. Les traducteurs universels style Star Trek, ça reste de la science-fiction, les machines restent idiotes, donc on leur inculque une base linguistique à partir de l’accent considéré comme “standard”.

 

Dj a écrit :

C’est pareil si elle téléphone a un service public et qu’on lui raccroche car la personne en face ne fait pas l’effort d’essayer de la comprendre

L’effort vient des deux côtés. Quand deux personnes ont des accents complètement différents rendant une conversation difficilement intelligible, elles doivent faire toutes deux l’effort de parler distinctement en gommant au maximum les disparités.

Nel

Le 27/03/2020 à 10h42

On a eu le même genre de discrimination pendant des décennies avec les pellicules pour appareils photos.

Les pellicules photo n’ont pas été conçues pour les peaux noires

Idem pour la reconnaissance faciale.

Faith

Le 27/03/2020 à 11h13

Dj a écrit :

Si Alexa ne la comprends pas c’est parce que les ingénieurs ont estimé que passer du temps pour qu’elle aie une réponse valable, ne valait pas la peine d’un pdv financier.

 

Ou tout simplement être capable de prendre en compte n’importe quel accent risque de faire baisser la qualité de la reconnaissance pour tous les utilisateurs.

La technique a des limites…

Ricard

Le 27/03/2020 à 11h16

jackjack2 a écrit :

Ma mère est ch’ti, elle est moins bien comprise, c’est une discrimination ?

Non. Une discrimination, c’est quand c’est volontaire. Là, c’est pas le cas.

fry

Le 27/03/2020 à 11h19

j’ai un collègue qui a un timbre de voix dans les graves, j’ai parfois du mal à le comprendre, et c’est pas un problème d’accent, c’est vraiment sa voix

et que certaines populations ait des “tendances” sur le timbre de voix ne me surprendrait pas du tout, à mon avis (de comptoir hein, je prétend pas être un expert du tout) ça peut tout simplement venir de là, et effectivement un manque d’échantillonnage sur ce type de voix.

cela-dit, le coup de l’accent “populaire” vs “csp+” est aussi un biais possible

Ricard

Le 27/03/2020 à 11h19

millman42 a écrit :

A mon avis là on a plein dans le paradoxe de Simpson.

A ma connaissance la couleur de peau n’influe pas sur voie.

Le problème ne se situe sûrement donc pas sur la couleur de peau mais autre part.

+1. Comme quelqu’un l’a déjà dit, c’est une question d’échantillonnage. La population masculine blanche doit être bien mieux équipée. Les algo d’éspionnage de deep learning se basent sur ce qu’ils ont. Càd, beaucoup plus de clients blancs de la classe aisée/moyenne que de noirs beaucoup moins favorisés dans un pays ségrégationniste." />

kestufou

Le 27/03/2020 à 11h49

Pour moi, discriminer c’est faire un choix. Je doute fortement que l’assistant demande aux utilisateur s’ils sont afro-américains et fait le choix de moins reconnaître leur voix.

Il est en revanche beaucoup plus problable que l’algorithme de reconnaissance vocale ait été entraîné avec des échantillons de population représentatifs de ceux qui accèdent à ce service.

#Groink n’a pas tort. Ce type de news est uniquement là pour alimenter le fantasme du racisme. La voix, la diction, l’intonation, le vocabulaire sont fortement conditionnés par la culture. Chacun sait que nous sommes peut-être tous égaux mais nous avons des cultures différentes.

skankhunt42

Le 27/03/2020 à 12h03

Ricard a écrit :

Non. Une discrimination, c’est quand c’est volontaire. Là, c’est pas le cas.

Quelqu’un à forcément choisis d’ignorer ces minorités lors de l’apprentissage machine.

 

kestufou a écrit :

nous sommes peut-être tous égaux mais nous avons des cultures différentes.

Nous ne somme pas égaux mais nous avons une culture commune qui nous permet de vivre ensemble. Pour ça c’est simple de le vérifier en consultant la taille des penis partout dans le monde. La taille d’un penis n’a rien avoir avec une culture.

Et si tu à trouver une culture qui permet d’agrandir la bites, fait tourner !

Ricard

Le 27/03/2020 à 12h17

skankhunt42 a écrit :

Quelqu’un à forcément choisis d’ignorer ces minorités lors de l’apprentissage machine.

Pourquoi ? Comment ?

skankhunt42

Le 27/03/2020 à 12h30

Ricard a écrit :

Pourquoi ? Comment ?

Pourquoi ? Surement parce que c’est pas les cibles des engins qui utilisent cette technologie. Comment ? En ciblant certaines zone géographique avec un un minima sur le revenus. Il à forcément eux discrimination, mais c’est aussi la discrimination accepté qui permettra de passer outre. Au pire tu met ça sur le dos à qui tu à sous traités les échantillons. Dans l’absolu pas besoin d’écouter les échantillons pour les traiter.

 

Okki Abonné

Le 27/03/2020 à 12h40

skankhunt42 a écrit :

Quelqu’un à forcément choisis d’ignorer ces minorités lors de l’apprentissage machine.

Je ne suis pas d’accord. Ce n’est pas évident d’obtenir suffisamment d’échantillons de voix représentatifs de la population dans sa globalité.

Si on reprend Common Voice, le dernier jeu de données indique, pour la francophonie (petite précision, tout le monde ne créé par forcément un compte pour préciser son genre, son âge ou sa zone géographique, ce qui explique que le total ne donne pas forcément 100%) :

59% de français, 3% de québécois, 2% de belges et 1% de suisses. 65% d’hommes et 12% de femmes. Et pour l’âge, nous avons 3% à moins de 19 ans, 21% à 19-29 ans, 23% à 30-39 ans, 14% à 40-49 ans, 8% à 50-59 ans, 4% à 60-69 ans et 1% à 70-79 ans.

Pour les français, nous n’avons pas de données sur les marseillais ou autres ch’tis à l’accent prononcé. Par contre, on voit que les belges, suisses et québécois sont particulièrement minoritaires. Les africains n’apparaissent même pas. Les femmes sont également sous-représentées, de même que les enfants ou les personnes âgées.

Tout le monde est pourtant invité à contribuer au projet. On peut le faire de chez soit. Et pour le matériel, à défaut d’avoir un micro-casque, on peut très bien contribuer avec un simple smartphone.

Au final, que ce soit Common Voice, Google Assistant, Siri ou Alexa, j’imagine que les raisons sont un peu les mêmes. Les femmes ont malheureusement beaucoup moins de temps libre que les hommes. Les enfants posent juridiquement problème (et préfèrent d’autres loisirs moins chiants XD). Une majorité d’africains ont sans doute bien d’autres priorités que de contribuer à ce genre de projet. Puis au sein d’une même population, les gens eux-mêmes ont parfois du mal à identifier leur propre accent. Maintenant, plus le temps va passer, plus il y aura d’échantillons et plus les modèles seront précis.

Et pour une reconnaissance libre, je vous invite encore une fois à contribuer à Common Voice " />

ps: pour ceux que la question des accents intéresse, le projet a prévu une nouvelle stratégie, décrite (en anglais) sur le forum.

Groink

Le 27/03/2020 à 13h38

“Les afro-américains sont aussi discriminés par les assistants vocaux”

Enchainé avec :

“Les systèmes de reconnaissance vocale ont plus de mal à comprendre les

voix des utilisateurs noirs que celles des utilisateurs blancs”

==> Le rapport est fait dès la première phrase de l’article, avec le titre, sur la couleur de peau. Je n’invente rien.

Enfin l’article source ne semble pas parler de discrimination envers les afro-américains. Celui de NextInpact le fait, et le fait de manière appuyée “sont AUSSI discriminés par”.

De même, je n’invente rien.

TroudhuK

Le 27/03/2020 à 17h03

Patch a écrit :

Il y a une forme de discrimination, puisqu’ils ont des résultats bien moins bons. C’est tout, la conclusion (la vraie, pas la tienne) s’arrête là.

" />

Alors je suis prêt à parier que sans tricher, n’importe quel critère qui te viendra à l’esprit donnera un résultat qui ne sera pas ⁵⁰⁄₅₀. C’est logique, ta phrase est absurde. Et effectivement, le critère particulier de la couleur de peau, je m’en fiche complètement comme des autres, ce qui est intéressant par contre c’est de parler directement de la prononciation, de l’accent, bref des audios en question, qu’est-ce qu’est un audio facile à retranscrire et un difficile.

Et c’est un avantage pour compliquer l’espionnage de sa vie privée que de s’exprimer d’une façon incompréhensible, au passage. On aurait pu donc présenter différemment, et ça aurait eu de la gueule : “la vie privé des étasuniens blancs bien plus menacée”. Pas intéressant non plus mais au moins on change de victime pour une fois.

j34n-r0x0r

Le 27/03/2020 à 18h48

Ce que je retiens c’est surtout que 2 % des blancs on un accent affro, ça c’est vraiment pas normal. " />

SebGF Abonné

Le 28/03/2020 à 11h37

L’étude en disponible en remontant la source de la source :

https://www.pnas.org/content/early/2020/03/17/1915768117

v1nce

Le 28/03/2020 à 16h58

Faut filtrer les ‘wesh gro bien ou bien’ en début de chaque phrase. En revanche pour le nakamura j’ai pas de solution. Je suppose que c’est du scat et qu’il est illusoire d’y chercher un sens.