Accusée à tort par un algorithme de reconnaissance faciale
Le 11 août 2023 à 06h54
1 min
Droit
Droit
Porcha Woodruff est la dernière victime en date des errements des technologies de reconnaissance faciale. Enceinte de huit mois, cette femme de 32 ans s’est retrouvée arrêtée et détenue pendant onze heures à Detroit, aux États-Unis, sur la foi d’un système de reconnaissance faciale qui l’a reconnue à la place de la réelle autrice d’un vol ayant eu lieu dans la région.
Porcha Woodruff est la sixième victime connue de ce type d’erreur, la sixième personne noire et la première femme à se retrouver ainsi accusée à tort.
Comme d’autres, elle s’est retrouvée menottée et emmenée au poste sous les yeux de ses deux filles. Dans la cellule, elle a subi de premières contractions, raconte-t-elle au New-York Times. Mais il a fallu que Porcha Woodruff paye 100 000 dollars de caution pour pouvoir sortir de cellule.
Le système défaillant a été construit par DataWorks Plus.
Le 11 août 2023 à 06h54
Commentaires (39)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 11/08/2023 à 07h47
Le 11/08/2023 à 07h52
Cette brève est de la désinformation pure. Désolé d’être aussi sec dans mon commentaire, mais rester factuels.
Il faut lire l’article en lien.
Oui, le logiciel a fait un rapprochement entre la photo de la coupable et celle de la mauvaise suspecte.
Comme il est écrit dans l’article :
De plus, la victime a cru reconnaître la mauvaise suspecte parmi 6 photos. Cet élément est assez faible si on y réfléchit : je ne sais pas comment sont choisies les 5 autres photos, mais comme la photo de la suspecte ressemblait suffisamment à la coupable pour que l’algo de reconnaissance se soit trompé, il n’est pas surprenant que la victime se soit aussi trompée. Un spécialiste fait la même remarque que moi dans l’article (j’ai écrit cette partie du commentaire avant d’avoir tout lu).
Ce sont des humains qui l’on accusé à tort, pas un algorithme. C’est la police qui est coupable de cette mauvaise accusation. Ce sont les errements de la police.
Le 11/08/2023 à 08h27
Oui on le sais. Les utilisateurs de ces outils n’en connaissent pas les limitations et biais. Ou pire en se déresponsabilisant volontairement.
Le 11/08/2023 à 11h00
Merci pour les précisions
Le 11/08/2023 à 11h00
Le problème c’est que DataWorks Plus n’est pas magistrat ni procureur. De plus, la méthode n’analyse d’image n’étant certainement pas publique, elle est directement incompatible à la procédure judiciaire qui est, nonobstant le délire latent du happytaxpayer, une finalité.
Si on réputait servant la procédure judiciaire toute déclaration privée, pourquoi pas demander aux agents de jouer à monsieur patate tant qu’à faire. Cela aurait des qualités identiques : les vrais suspects seraient retrouvés facilement par la maîtrise du vodoo et le jeu d’acteur copié sur Clint Eastwood.
Le 11/08/2023 à 14h05
Je n’ai pas accès à l’article original (paywall).
Si je comprends bien ce que tu indiques, l’algo a “accusé” à tort Porcha, puis un humain chez DataWork Plus a fait aussi l’erreur, puis la victime elle-même a fait l’erreur ?
Par contre, où est la désinformation de NextInpact ici ?
Le 11/08/2023 à 14h21
Non. L’algo n’a accusé personne. La désinformation est là.
L’algo a tout au plus suggéré une suspecte.
Ce sont les policiers qui n’ont pas suffisamment contrôlé que la suspecte suggérée était celle dont ils avaient la photo. La société DataWork Plus n’a fait que fournir le système de reconnaissance faciale.
La victime a qui on présentait 6 photos dont celle ressortie par le système a cru reconnaître la coupable; Normal, elle ressemblait assez pour que le système se trompe.
La désinformation est d’écrire que c’est l’algorithme qui a accusé quelqu’un alors que cela n’entre pas dans ses prérogatives. Ce sont les policiers qui ont accusé à tort cette personne.
Parler des “errements des technologies de reconnaissance faciale.” est de la désinformation en plus d’être une insulte à notre intelligence.
Le 11/08/2023 à 14h21
tu t’attends à avoir de l’information neutre sur la reconnaissance faciale ici ?
Si la technologie peut décupler la résolution de crimes et améliorer considérablement l’efficacité de la justice tu trouveras toujours toute les mauvaises nouvelles sur NXi
Le 11/08/2023 à 14h26
Je ne m’attends à rien de spécial, surtout de l’auteur probable de la brève. Par contre, quand c’est trop gros, je dénonce. Et ce qui est bien ici, c’est qu’on peut le faire tant que l’on argumente.
Je suis très loin d’être un fan de la reconnaissance faciale pour trouver un suspect (en fait, je suis contre à cause des défaillances de la technologie et des humains qui l’utilisent mais surtout à cause d’une violation disproportionnée de la vie privée. Mais, il y a suffisamment de bons arguments contre ces outils pour ne pas en rajouter des mauvais quitte à ne plus être crédible.
Le 11/08/2023 à 09h39
blessé à tort par une arme à feu à canon court.
Le 11/08/2023 à 10h56
à 32 min dans ce reportage de la RTS
Dans la suite, le neuropsychologue interrogé montre la façon dont le cerveau reconnait les visages, et qu’il prend moins d’information s’il détecte une personne d’une autre race. (y compris Européen reconnu par un Asiatique)
Donc non seulement l’algorithme a un biais envers les Noirs mais le cerveau des non Noirs aussi. Je ne sais pas si la victime est noire ou non, pas trouvé dans l’article du NYT.
Le 11/08/2023 à 12h30
La réciproque est vu aussi…
indépendamment, l’algorithme n’est pas (encore ?) équipé pour mettre des menottes. Sur la forme comme sur le fond, ce sont bien les agents qui ont arrêté cette personne.
toujours Indépendamment, si l’on qualifie cela de faux positif (que je n’aurais pas voulu subir quand même) combien de vrai positif avec ce système. Et en comparaison sans l’outil, c’est plus ou c’est moins mauvais ?
Le 11/08/2023 à 12h11
Sur combien de personne au total ?
Et sur combien de personne quand la reconnaissance faciale n’est pas utilisée ?
La prochaine fois il faudrait surtout s’abstenir de publier ce genre de news si derrière il y à absolument aucun chiffre et en donnant une source 100% payante.
Le 11/08/2023 à 12h21
Le seul système fiable qui selon permet d’identifier un individu c’est Paraf qui identifie une personne basée sur les données biométriques du passeport du titulaire qui sont lues avant comparaison avec l’acquisition vidéo temps réelle effectuées dans le sas .
C’est 1 vers 1 basé sur une photographie normée (taille, résolution, luminosité, absence d’accessoires,..) donc avec une référence fiable.
Je pense que leur applicatif est un outil d’analyse probabiliste dont l’argument marketing est sans doute très exagéré et/ou mal compris par les acheteurs potentiels..
Par contre, si leur outil est connecté à la base de données d’identités publique là ca craint du boudin..
Le 11/08/2023 à 12h35
Vu que la totalité des outils de reconnaissance faciale utlise du machine learning, ils sont tous probabilistes.
Le 11/08/2023 à 17h05
On est d’accord, c’est pourquoi j’ai pris l’exemple de Paraf qui lui, fait de l’identification. Je pense qu’il y a un biais de d’explication/compréhension entre identification et reconnaissance.
Le 12/08/2023 à 09h15
Légère correction :
Certains algos peuvent être utilisés dans les 2 cas (avec des seuils de score généralement différents, bien sûr).
Ceci étant, il me semblait que Parafe faisait son authentification sur les empreintes et non le visage. Et dans ce cas-là, les algos n’ont pas toujours été à base de machine learning…
Le 12/08/2023 à 13h13
Désolé pour cet abus de langage de ma part, j’ai pensé que le terme d’identification sur ce sujet était plus approprié (l’authentification étant le moyen et l’identification la fin).
En effet, la version 1 de Parafe utilisait les empreintes du titulaire pour les comparer à données biométriques du document (passeport).
La version 2 utilise maintenant le visage avec des gains significatifs en terme de vitesse d’analyse car l’idée principale de Parafe est bien de fluidifier le passage au frontière sous la pression des compagnies aériennes qui paient cher les retards et slots perdus ( les retards ne sont pas non plus tous imputables à la PAF) .
Le 13/08/2023 à 11h12
Alors non, authentification et identification ne veulent pas dire ça !
L’authentification, c’est le fait de vérifier que personne est connue, par exemple vérifier que je suis bien Edtech. Généralement, un mot de passe suffit à prouver que c’est bien son compte. Mais ça n’indique pas qui on est vraiment.
L’identification, c’est de vérifier mon identité, à savoir qui est vraiment la personne derrière le pseudo Edtech. Pour ça il faut une pièce d’identité et un contrôle entre elle et la personne qui fait la demande, ou bien passer par un tiers de confiance qui nous a déjà identifié (l’identité numérique de la Poste par exemple).
Dans certains cas, on fait les deux, le plus souvent, on ne fait que l’authentification.
Le 13/08/2023 à 14h06
C’est pas ce que j’ai appris :
Identification = identifiant dans un formulaire de connexion
Authentification = mot de passe dans un formulaire de connexion
En l’occurrence, généralement, sur Internet, on fait les 2 en même temps.
Le 14/08/2023 à 07h27
Pas d’accord avec ça.
Et pour reprendre le thème:
L’identification est faite par l’analyse du visage du titulaire en le rapprochant des données du passeport biométrique qui permet d’authentifier son titulaire.
Donc je persiste, l’authentification (le passeport biométrique) est bien le moyen aux fins d’identifier une personne (ici par l’analyse de son visage).
Le 14/08/2023 à 08h29
Alors la définition de pierreonthenet est ce qu’il y a de plus proche de la réalité. Mais en tout cas, authentification et identification sont deux concepts liés, mais différents. On trouve souvent sur internet tout du moins, les deux mélangés.
Authentification : on vérifie la légitimité d’un accès. Accès protégé par mot de passe, certificat, clé privé, etc.
Identification : on identifie quelque chose ou quelqu’un.
Sur internet, on fait souvent l’amalgame, car les deux vont généralement de pairs.
En effet, une authentification sans identification préalable n’a que peu de sens. Il ne sert à rien de vérifier le mot de passe de quelqu’un tant qu’on ne sait pas le mot de passe de qui il faut vérifier ! Une vérification par certificat fait les 2 car le certificat contient des informations sur l’identité (=identification) de la personne en plus de la clé publique permettant de vérifier un chalenge cryptographique (= authentification)
L’identification sans authentification serait totalement absurde aujourd’hui, puisque n’importe qui pourrait agit ou se connecter au compte de n’importe qui juste en connaissant son identité (souvent un identifiant).
Et on voit bien, à travers les attaques par phising qu’être authentifié et identifié ne signifie pas être la personne qui se cache derrière un compte.
Avec des mécanismes comme le MFA (authentification multifacteur), on tend à refaire cette amalgame, car on se dit que seul le titulaire va avoir tous les facteurs nécessaires pour réaliser l’étape d’authentification.
Il est vrai aussi que lorsqu’on se connecte à un site web, on voit des notions plutôt ambiguës (formulaire d’authentification, formulaire d’identification, formulaire de connexion, etc.) mais jamais formulaire d’identification et d’authentification, qui serait l’expression la plus approprié pour une connexion par login/mot de passe ! Le plus juste et le plus simple étant finalement “formulaire de connexion”.
[edit]
Juste pour préciser encore sur l’identification : sur internet (je ne parle pas d’un point de vue législatif), l’identification consiste à dire à qui appartient un compte (qui peut être un compte sous pseudonyme). Pas à vérifier l’identité “civile” d’une personne.
Le 11/08/2023 à 14h13
Quelle idée aussi d’habiter au Texas quand on est noire ?
(troll sarcastique hein, je préfère préciser avant de ma faire lyncher par les cap’tains 1er degré)
Après ça marche aussi avec la plupart des états du sud qui n’ont pour beaucoup toujours pas totalement tourné la page “du bon temps des champs de coton” (ça ne fait pas si longtemps qu’on ne voit plus flotter partout le drapeau confédéré à chaque manifestation sportive ou autre, et il me semble qu’il a fallu légiférer pour ça)
Le 11/08/2023 à 14h44
Ou bien cette même intelligence remarque une divergence dont l’origine est manifestement occulte, entretenant possiblement un lien causal avec le résultat illogique.
En clair, la recette est à double usage tandis que la finalité ici est le jugement : innocent ou coupable.
La voie alternative est alors de restreindre l’outil aux cas pertinents puisque pour l’instant, on voit surtout des systèmes de renforcement dérivant vers la justice expéditive. Le coup de maître c’est de savoir ce qui relève de l’automatisme et de la décision humaine, ici encore, la boite a choisi de quel côté il lui est nécessaire de pencher pour maintenir l’illusion objectale du justiciable aux yeux des juges…
Le plus probable de se produire, en supposant de bonne foi les concepteurs, c’est une augmentation des délits et crimes indépendante du nombre de résolutions qui est le réel objet de la vente et n’est ainsi pas, à proprement parler, la même chose qu’une enquête. (voir pour s’en convaincre la somme des contraintes d’homologation appliquées ou les cas d’hybridation entre numérique et police scientifique qui n’ont rien à voir en sérieux avec le tout venant ergotique de « l’IA »).
Le 11/08/2023 à 21h40
Faut dire que la lumière est raciste, elle rebondit moins sur les peaux foncées que sur les peaux claires. Il faut interdire la lumière.
Le 12/08/2023 à 10h34
Pas mal ça, on pourrait supposer tout corps préjugeable sur la seule base de son indice de réfraction.
Ou pas. Et puis évidement c’est dans la poche puisque personne n’assume que cela se provoque.
Le 12/08/2023 à 11h10
N’empêche que la sorcière présumée était innocente, mais si elle avait pas eu 100.000 \( (cent mille dollars), elle serait bien passée au bûcher. Petit sondage express : qui a 100.000 \) (cent mille dollars) disponibles pour ce genre de situation chez les lecteurs de NXI ?
Le 12/08/2023 à 11h32
Ne raconte pas n’importe quoi.
Il y a des sociétés spécialisées pour prêter la caution aux USA. Et au final, elle va probablement être indemnisée par la ville dont la police a fait une fausse accusation : ce n’est pas elle qui paiera la société de prêt.
Personnellement, je préfère cela aux incarcérations préventives qui durent de la France, même si à titre personnel je pourrais payer cette somme (pour répondre à ton sondage).
Mais encore une fois, il faut accuser les policiers qui n’ont pas fait correctement leur boulot, pas l’outil. J’espère que cela servira de leçon à la ville qui va demander à sa police de faire plus attention la prochaine fois.
Le 12/08/2023 à 14h45
Ces sociétés ne prêtent pas à tout le monde. Ici c’est une coïncidence que la suspecte fut enceinte. Cela aurait pu être une multirécidiviste repentie qui aurait eu la plus grande peine à trouver un prêt pour sa caution. Et pour l’indemnisation, pareil, avec un casier c’est plus difficile à obtenir. Ton raisonnement est optimiste parce que ça colle à la situation de cette suspecte précise. Par coïncidence seulement.
C’était un sondage rhétorique. La réponse, c’est à la louche la moitié de la population française à condition de vendre le patrimoine immobilier donc beaucoup moins en pratique :
Distribution du patrimoine des ménages – Insee 2023 données 2021
Les policiers ont probablement utilisé l’outil conformément aux consignes d’utilisation qu’ils ont reçu l’ordre d’appliquer. Et puis de toutes façons la police ne sert pas à « faire attention », la police sert à faire du chiffre. Il n’y a rien qui va changer sauf que la presse va nous habituer à une nouvelle catégorie de faits divers venus d’outre-Atlantique : les erreurs des réseaux de neurones artificiels.
Le 13/08/2023 à 14h09
Franchement, je trouve qu’on est pas loin de jouer sur les mots là.
Remplace l’algo par un humain, et on aurait dit que l’humain a accusé à tort la dame, même s’il ne faisait que suggérer sa culpabilité.
Dès lors, parler de désinformation me semble un peu fort.
Mais mis à part ça, je crois sue je suis d’accord avec toi sur le fond du problème. 😉
Le 13/08/2023 à 18h26
Woodruff ? Ah oui… Je comprends l’IA. Je veux dire par là… Voici une photo du voleur peu avant les faits, à droite.
Le 13/08/2023 à 19h59
On peut tout à fait faire l’un et l’autre… si l’outil a exactement les mêmes défauts que les incompétents qui l’utilisent, c’est quoi la valeur ajoutée?
Le 14/08/2023 à 07h42
Le logiciel permet indéniablement de comparer un visage à de grandes quantités de photos très rapidement, ce que ne permet pas de faire un policier.
Mais ne me mets pas en position de défenseur de la reconnaissance faciale, je ne le suis pas. Je dis juste depuis le début qu’il faut pointer les vrais responsables et utiliser les bons mots. Le logiciel n’a accusé personne. Les vrais responsables sont les policiers qui n’ont pas fait les vérifications nécessaires avant d’accuser.
J’ai même dit qu’il y avait suffisamment de bons arguments contre cette technologie pour ne pas utiliser de mauvais arguments.
Le 14/08/2023 à 08h28
La responsabilité des policiers est indéniable puisqu’ils sont responables de tout le processus, mais cela n’exonère pas la solution de reconnaissance faciale qui s’est trompée.
Il est en outre normal de s’interroger sur les éventuelles variations de fiabilité de la solution selon qu’il s’agisse de personnes blanches ou racisées.
Le 14/08/2023 à 08h38
Comme tu coupes mes commentaires pour continuer à argumenter alors que si j’ai tout reprécisé, c’est pour éviter de se focaliser sur un seul point et expliquer mon propos dans l’ensemble de mes commentaires sous cette brève), je te laisse discuter tout seul.
Le 14/08/2023 à 14h41
je ne comprends pas, Blancs mal différenciés par des Noirs ? Sûrement, j’ai pris le 1er exemple du reportage, qui s’applique peut-être ici je ne sais pas, et l’exemple suivant donné avec Européen/Asiatique, mais c’est certainement similaire pour chaque combinaison, ils n’ont pas détaillé.
Je me demande, dans le cas où ce biais du cerveau humain s’applique ici, si les agents sont au courant de ce biais, et auraient pu mettre moins de certitude dans la culpabilité.
Et combien de faux positifs avec et sans ? Perso je préfère un coupable en liberté qu’un innocent en prison.
Le 16/08/2023 à 10h41
https://www.nbcnews.com/news/nbcblk/detroit-police-changing-facial-recognition-policy-pregnant-woman-says-rcna99290
Le 16/08/2023 à 11h03
Pourtant NBC ne s’émeut jamais du refus de prêt d’une banque ayant agi sur la base des tuyeaux d’une boite de surveillance publicitaire ou de son avatar anti-fraude !
Comme si l’absence de finalité justifiait que la monnaie échappe à l’intellect.
Le 16/08/2023 à 11h17
Merci pour ce lien.
En fait, le chef de la police dit la même chose que moi : c’était un travail de police très pauvre.
C’est bien qu’il le reconnaisse et qu’il en tire de nouvelles règles où la technologie ne peut être la seule preuve pour accuser quelqu’un.