Reuters révèle qu'Amazon.com prolonge indéfiniment son moratoire sur l'utilisation par la police de Rekognition, son logiciel de reconnaissance faciale.
La société n'aurait en effet pas réussi à résoudre les problèmes de biais raciaux, ses algorithmes ne parvenant pas à reconnaître correctement les personnes de couleur.
Amazon avait annoncé son moratoire en juin 2020, au plus fort des manifestations aux États-Unis contre la brutalité policière à l'égard des personnes de couleur, afin que les législateurs puissent se saisir de la question et réglementer la technologie.
Commentaires (17)
#1
Tiens, on n’est pas trolldredi, mais je vais quand-même poser une question qui me turlupine et qui risque de partir en sucette.
Si la totalité des systèmes de reconnaissance faciale ont des biais qui les rendent inefficaces lorsque mis en présence de personnes dont la peau n’a pas la “bonne” couleur, alors…
Qu’en est-il du système Face ID de l’iPhone ? Est-il lui aussi moins efficace si on n’a pas la complexion d’une guêpe ?
Je sais que le problème est légèrement différent - retrouver une personne dans une DB de millions de visages vs simplement comparer deux profils. Est-ce que cette différence est significative ?
#2
Je crois que Face ID enregistre le visage de l’utilisateur final, s’il y a de l’IA dedans, c’est très très personnalisé vu que seul l’utilisateur peut débloquer le téléphone.
Je ne pense pas qu’il y ait de biais sur ça, les capteurs des iPhone sont + proches et + complexes qu’une caméra classique.
#3
Je suis rose clair, je dois me sentir visé ?
#ColoredLifeMatter
#3.1
Ben c’est comme le politiquement correct “black”.
On dit pas les white par exemple.
#3.2
Bah, on dit bien Barry White alors qu’il est noir.
#3.3
Et Michel Noir n’était pas tout blanc
#4
C’est toujours pareil et c’est un problème qui est pas prêt d’être réglé vu qu’il est “technique” et “naturel” : c’est une question de contraste et d’anatomie humaine.
De la même manière qu’un être humain a beaucoup plus de mal à discerner quoi que ce soit dans le noir, et encore plus des gens à la peau foncée/noire dans le noir, les algo qui ont tous besoin de contraste pour identifier des points de référence galèrent….
Le seul problème c’est qu’on aborde ça sous l’angle du “biais raciste” (ce que ça n’est pas) comme si c’était la faute des gens qui l’ont codé/développé/alimenté et que ça se règle “facilement” avec des noirs pour faire le taff (évidemment) au lieu de communiquer sur la réalité :
tant qu’on se basera sur qqc qui reste, à un niveau ou un autre, de l’optique, on aura un problème avec tout ce qui est faible contraste…. ce qui inclus les gens avec une peau foncée (et pas “les noirs” : il y aura le même genre de problème avec des Tamouls, des Pakistanais à la peau foncée, les ethnies Thai à la peau foncée, ou les indonésiens par exemple).
Vouloir toujours rapporter ça à “la race” et en particulier aux noirs parce que c’est aux USA est non seulement une connerie sans bornes, mais en plus dangeureuses, parce que c’est attribuer “une volonté raciste” à qqc qui n’est bêtement qu’un problème technique pour le moment difficilement surmontable en l’état actuel de la technologie.
Qu’on commence grâce à ça à avoir des questionnements et moratoires sur la reconnaissance faciale c’est pas plus mal, mais ça n’aurait jamais du en être la raison, la très faible fiabilité de la reconnaissance (des taux de “faux positifs” de l’ordre de 20⁄30% c’est juste hallucinant d’avoir ne serait ce qu’envisagé d’utiliser ça :() aurait du être la raison…
#5
Les Google Pixel prouvent que le manque de luminosité est un faux problème. On se retrouve avec des photos qui semblent baignées de lumière alors que la pièce était éclairée par une bougie…
La seule chose qui empêche réellement les algos de faire leur taf sur les personnes à peau foncée est qu’ils n’ont pas assez d’éléments de comparaison, et ca a déjà été dit dans les colonnes de NXI. Doit y avoir qque chose comme 90% de photos de personnes blanches, et le reste partagé entre les autres couleurs de peau, pour leur apprentissage.
#5.1
Google lit le Larousse.
#5.2
Si nos machines ne sont pas totalement neutres, c’est tout simplement parce qu’il nous est quasi-impossible de l’être totalement.
Parce que le vrai problème il est là, ce n’est plus un problème de race ou de discrimination, mais un problème de biais cognitif, qui est constitutif de la race humaine dans son ensemble. Nous sommes, et serons, éternellement imparfaits.
Il faut donc, pour éviter cela, révolutionner nos algorithmes pour qu’ils puissent accéder directement à des données 100% brutes, non teintées, non interprétées, non triées, non organisées ni hiérarchisées, ou chaque atome d’information serait très exactement égal à tous les autres, sans exception.
Malheureusement, et d’après le peu que j’en sais, les IA actuelles, pour être correctement entrainées (ML / DL) ont encore besoin qu’on leur mâche un peu le travail en amont, qu’on hiérarchise les flots de data qu’on leur envoie en pleine poire, ce qui implique qu’on doit mettre en avant ce qu’on estime important (exemple : dans un visage, je vais dire à l’IA : “fais particulièrement attention au nez et aux yeux, et moins attention au reste”), ouvrant par là grand la porte aux biais de toutes sortes…
Il faut donc une toute nouvelle classe d’IAs, capables d’aller puiser elles-mêmes dans un magma de data brutes ce dont elles ont besoin pour remplir leur mission et de trouver librement leur façon unique de les organiser, un peu comme des bibliothécaires qui auraient tout, absolument tout à réinventer de A à Z… jusqu’au concept même de “livre”.
#6
C’est quand-même marrant qu’on a des photos superbes de Pluton, et qu’on n’est toujours pas capable de faire une photo correcte d’un visage… Un problème de contraste et de luminosité, vraiment ?
#7
Effectivement ce n’est pas le même problème,
dans le cas FaceID 1) si ça rate (faux négatif) on recommence, 2) si faux positif, on va dire que si ça se produit une fois sur 10000 c’est équivalent à saisir un code à 5 chiffres.
Dans la reconnaissance faciale le soucis n’est pas de reconnaître un individu (on s’apercevrait vite des erreurs), mais les cas “potentiellement” dangereux. L’objectif avec l’IA c’est d’essayer des millions de possibilité de paramètres sur un algorithme jusqu’à ce que les résultats matchent avec les “exemples” (“exemples” = important), sans que personne ne sachent pourquoi ces paramètres là et pas d’autres. Par exemple un algo qui marchait bien pour reconnaître les chiens des loups, échouait avec les huskies, pourtant assez différents, personne ne comprenait jusqu’à ce qu’on se rende compte que toutes les photos “exemple” de loup avaient un fond neigeux, et que l’IA ne se basait que sur ça.
#8
On est pas vendredi.
#9
Les techniques ont un peu évoluées depuis Viola–Jones ou SIFT
S’il faut attendre que la solution soit déployée à vaste échelle pour que les utilisateurs de couleurs (foncées) voient un problème, c’est qu’il y a un biais… au moins dans la phase de validation !
#9.1
Je n’y connais malheureusement rien en programmation pure, et encore moins en IA, mais j’ai bien compris que dans l’état actuel de l’art, un biais cognitif, une orientation en fonction de la vision du monde du programmeur (ex. : je fais des corrélations là où il n’y a que coïncidence), ou ne serait-ce qu’une légère surinterprétation est très difficilement évitable…
C’est pour cela qu’une vraie révolution s’impose dans la façon dont on conçoit, entraine et alimente en données une IA (deep learning). Il faudrait qu’elle puisse élaborer elle-même sa (ses) méthode(s) d’acquisition, en gros il faudrait un algorithme… capable d’inventer des algorithmes !
Où encore une IA capable de créer des IAs, de les tester et de sélectionner celle qui remplit le mieux la mission demandée, sans aucune intervention humaine dans le processus.
#10
A la base, c’est pas tant un problème d’algorithme que de capteur.
Les capteurs d’appareils photos des pc/smarphone sont prévus pour prendre des photos (obvious). Ils sont donc très performants pour capter les intensités lumineuses du spectre visible.
Avec ces capteurs, on peut au mieux construire des descripteurs basés sur la différence des intensités lumineuses visibles (=contraste)… ce qui pose donc problème qd il y a peu de contraste dans l’image du visage, que ce soit dû à la teinte de la peau, l’éclairage ambiant, la sensibilité du capteur, …
Evidemment, si c’était des capteurs radiographiques à rayon-x, l’influence de la couleur de peau dans l’algorithme ne serait pas un sujet de discussion. Mais ce n’est pas le cas. Donc les devs (et les algos) font ce qu’ils peuvent avec le capteur qu’il y a.
#10.1
Effectivement, et c’est un des sujets de l’article, la sensibilité et la qualité des capteurs, c’est une chose à laquelle on ne pense pas quand on est béotien, mais je comprends mieux maintenant, merci.
Cela veut dire en fait que les données sont pipées dès le départ, à la source, problème intéressant…