Nouveau cas de discrimination assistée par algorithme : le New-York Times rapporte l’histoire de Randal Quran Reid, gardé six jours en garde à vue par la police sur la foi d’un résultat de reconnaissance faciale erronée.
Vivant en Géorgie, aux États-Unis, le jeune homme s’est retrouvé accusé de deux vols dans deux villes proches de New Orléans, quand bien même il n’avait jamais mis les pieds en Louisiane.
Ses parents ont dépensé des milliers de dollars pour trouver des avocats et comprendre ce qui avait mené à l’arrestation de M. Reid. En définitive, celui-ci ressemblait vaguement à un suspect filmé par caméra de surveillance.
Comme l’écrivent les journalistes Kashmir Hill et Ryan Mac, M. Reid semble avoir subi une cascade de mauvaises décisions, à commencer par une mauvaise identification algorithmique – le bureau de police travaille avec les outils de Clearview AI depuis 2019 – puis celle adoptée par les policiers de prendre la suggestion du logiciel pour argent comptant.
Ça n’est pas la première fois qu’un homme se retrouve enfermé à cause de problèmes de ce genre aux États-Unis.
À notre connaissance, tous les cas connus aux États-Unis concernent des hommes noirs. Or, il est notoire, au moins depuis la publication de l’étude Gender Shades par la chercheuse Joy Buolamwini en 2018, que plus la peau d’un sujet est foncée, moins les algorithmes de reconnaissance faciale fonctionnent correctement.
Quant à Clearview AI, si elle est très utilisée par la police américaine, ses technologies restent polémiques, puisque l’entreprise a constitué sa base d’entrainement en « scrapant » toutes les images disponibles sur des réseaux sociaux grand public comme Facebook.
Commentaires (29)
#1
La reconnaissance faciale américaine est raciste …
#1.1
Comme toutes les IA.
Quand on entraîne des modèles avec des jeux de données biaisés, on ne peut pas attendre de résultat fiable.
#1.2
non, “erronée” serait plus juste; par exemple une reconnaissance faciale à Dubai discriminerait fortement les européens et encore plus les américains ; question justement “d’apprentissage”
#2
Ça fait rêver… 6 jours pour faire comprendre aux préposés assermentés qu’il y avait un bug…. Pas possible de localiser oû avait borné le téléphone du suspect les derniers jours? (oui il aurait pu le laisser chez lui ou le donner à un ami en vadrouille….) ou interroger certains de ses amis ou sa famille pour confirmer qu’il n’était dans la localité en question? Trop dur de passer un coup de téléphone?
Les US, c’est pas le pays qui prône la Liberté avant tout?
Mais bon si la machine dit que c’est vrai, alors ça doit être vrai…
J’espère au moins qu’il va poursuivre pour obtenir des dédommagements…
#2.1
Il ne faut pas oublier les milliers de dollars dépensés pour engager deux avocats (et qui ne seront pas remboursés par la police)
#3
Le problème semble surtout dû aux humains plutôt qu’à l’algorithme. Et je ne crois pas que le chemin vers plus d’intelligence passe par le fait de déresponsabiliser systématiquement les utilisateurs.
Mon GPS m’est régulièrement très utile quand je suis dans un endroit inconnu, quand bien même certains arrivent à se jeter dans l’eau en suivant aveuglément la machine.
Idem pour les chats dans les micro-ondes.
#3.1
#3.2
Le problème, c’est surtout qu’on a un logiciel biaisé vendu par des commerciaux peu scrupuleux et des utilisateurs qui sont peu ou pas formés
#3.4
Le logiciel n’est pas biaisé. C’est juste qu’avec les peaux noires, les photos manquent de contraste par rapport aux photos de blancs, donc la reconnaissance faciale est plus difficile pour les noirs que pour les blancs. Il ne faut pas voir de racisme là où il y a juste une difficulté technique.
#3.5
C’est la lumière qui est raciste !
#3.6
C’est kodak les voleurs de couleurs !
N’empèche qu’à l’époque de l’argentique les sujets pour tester la qualité de rendu d’un appareil, c’était pas souvent des “banania”, ça biaise la R&D.
#3.7
Ce n’est pas le logiciel qui est biaisé, c’est les jeux de données utilisés pour le paramétrer (“l’entraîner” puisqu’il parait qu’il y a de l’intelligence dedans) qui le sont.
Quand on utilise des banques de données composées essentiellement d’hommes blancs, le logiciel a du mal à être pertinent avec les autres populations. Certains à qui on a présenté des photos de femmes noires ont classé ces personnes comme chimpanzés ou des gorilles.
#3.9
Ok, il y a un biais. Sur un site d’info fiable, on a pu lire : “on arrive à un taux d’erreur de 0,002 %, soit pour un noir un taux d’identification positive de 99,997 %, et pour un blanc de 99,998 % : on cherche à augmenter la précision globale au maximum, et même si ça reste inégalitaire, y’a presque pas d’inégalité”
Donc oui, je m’incline, il y a un biais de 0.001% entre noirs et blancs dans l’algorithme. Ça méritait bien ces cris d’orfraie.
Mais je persiste : le plus grand biais, c’est quand tu tentes de faire une reconnaissance à partir d’une photo prise dans la pénombre (donc pas le cas optimal du 99.998% ci-dessus), là un blanc sera plus facilement reconnu qu’un noir, et c’est un problème purement optique.
Franchement, vous n’avez aucune expérience en photo, et en particulier en retouche photo de portrait ? Vous n’êtes jamais restés perplexes devant un trombinoscope fait de photocopies de photos de mauvaise qualité, où on reconnaît à peu près les blancs, mais bon courage pour voir autre chose que des silhouettes pour les noirs ?
#3.10
Prends 100 000 personnes.
2 blancs seront criminels par erreur, 3 noirs.
y’a 50% de plus d’un coté.
Donc pour reprendre ton chiffre,
on a un taux d’erreur de 0,002% (chez les blancs)
majoré de 50% chez les noirs.
L’erreur reste un poil de couille. Mais comme y’en a que 3 des poils, … oui ça se voit
Après pour la photo, un black en sursaturé peut passer pour un blanc mais il aura les yeux fermés parce que tu l’éblouis. Photo recalée pour les papiers…
C’est pas simple les forces de l’ordre. Surtout quand c’est le désordre comme en ce moment…
#3.11
Qu’ils achètent des caméras de qualité avec montée en iso maitrisée …
Quand au “traitement” des noirs par les flics amérlocs on connait leur marges d’horreurs !!
#3.12
Ah, ça, les photocopies de papiers d’identité de personnes noires, c’est pas rien.
Les jeux de données ont été améliorés, certes, mais c’est oublier un peu facilement ce genre de choses qui est la conséquence directe de l’“apprentissage” des IAs indépendamment de considérations optiques.
Et comme @barlav le dit, de toutes façons, la police étatsunienne (et malheureusement les autres aussi) n’a pas attendu des algorithmes pour être raciste.
#3.13
Peu importe les excuses apportées, c’est le logiciel qui a donné un résultat erroné. A charge aux développeurs de prendre en compte les cas où la photo n’est pas exploitable.
Parce qu’avec ce genre d’attitude, on peu dès aujourd’hui lacher les véhicules autonomes. En cas d’accident on dira que c’est à cause de la lumière.
#3.14
Ils viennent d’où tes chiffres ?
Quand on parle de site d’info fiable, la moindre des choses est de donner ses sources quand on avance de tels chiffres.
Ici, je vois des chiffres assez différents différents et un ratio de 100 sur les erreurs d’identification entre les noirs et asiatiques d’une part et les blancs d’autre part. Très différent de ton ratio 2 probablement inventé.
Quant à te satisfaire qu’un outil puisse être vendu alors qu’avec une mauvaise photo, il essaie quand même de faire de la reconnaissance faciale au lieu de la rejeter (tant pis pour les noirs ! puisque c’est eux qui en sont majoritairement victimes), ça me dégoûte.
Dans le temps, on contrôlait les données d’entrée avant de les traiter.
#3.8
C’est le logiciel qui génère des résultats biaisés, donc le logiciel est biaisé. Vouloir exonérer le logiciel, et donc l’éditeur et/ou les développeurs est, il me semble, une mauvaise pratique.
#3.3
’ + 1 !
#4
Le fond du problème dans cette affaire n’est nullement l’algorithme, mais les humains. Il n’y a que la justice américaine pour être capable d’enfermer 6 jours un homme avec pour seul fondement avoir été reconnu par une analyse biométrique faite grâce à du scrapping de plateformes grand public… Ce n’est pas la technologie qu’il faut diaboliser, mais la bêtise humaine…
#5
Comme dit ci-avant, le problème c’est pas l’outil mais la décision judiciaire.
Depuis l’avènement de l’ADN, il y a une espèce de croyance mystique que toute preuve obtenue par une méthode automatisée est scientifiques, et que si c’est scientifique c’est probable à 99.9999%, et donc que c’est la vérité incontestable.
#5.1
El lisant l’article source, on voit que l’obtention de la décision du juge pour un mandat a aussi été facilitée par un outil électronique qui dispense les échanges entre le shérif et le juge qui n’ayant pas le shérif en face de lui comme dans le temps peut ne pas vérifier qu’il y a des charges suffisantes pour ce mandat.
#6
Il faut pas oublier que contrairement à la France, la police américaine enquête uniquement à charge. C’est donc à toi de faire l’enquête à décharge, d’où la nécessité d’engager avocats et détectives privés pour faire ce travail ce qui peut prendre du temps (et beaucoup d’argent).
#6.1
Hmm c’est vrai ça ? J’ai cherché mais je n’ai pas vraiment trouvé. Par contre, j’ai trouvé ça, qui je confirme, est aussi valable dans le droit UK, ayant eu la très désagréable expérience de l’avoir vécu personnellement et de défendre mon cas moi même (suite à un accident de la circulation à Hong Kong , et…j’ai perdu…
)
“Une fois la prise de parole terminée du procureur, c’est au tour de l’avocat de la défense d’intervenir. La défense n’est pas tenue de présenter une quelconque plaidoirie étant entendu que la charge de la preuve revient entièrement au procureur. En effet, le prévenu n’est pas tenu de démontrer son innocence ; c’est au procureur de prouver sa culpabilité « beyond reasonable doubts » (= au-delà de tout doute raisonnable).”
#7
La liberté, c’est pour les honnête gens, or visiblement pour les autorités ce type avait commis un délit de faciès
Même 99.9999% ce n’est pas suffisant si tu compares à une base contenant 10 (voire 100) millions de personnes.
#8
Si il l’est … il souffre même d’un effet d’appartenance ethnique … faisons coder les reconnaissances faciales par les bonnes ethnies et pis c’tout
#9
Ceux qui ont la plus grand responsabilité, ce sont quand même bien les flics qui suivent aveuglément la réponse du logiciel sans vérifier manuellement, pas les auteurs du logiciel qui n’est jamais annoncé comme infaillible.
#10
Visiblement, tu ne sais pas lire entre les lignes, pas la peine de monter dans les tours. Le site d’info fiable que je citais, c’est une petite PME qui s’appelle NXI. Après, chacun en pense ce qu’il veut.
https://www.nextinpact.com/article/44954/reconnaissance-faciale-il-est-clair-que-tous-algos-marche-ont-biais