L'éditeur aurait « menti au sujet de sa technologie raciste », titre Motherboard. Des documents révèlent en effet que le système AEGIS de la société canadienne SN Technologies, reposant sur un algorithme français, identifie mal les étudiants noirs à des taux beaucoup plus élevés et confond les manches à balai avec des armes à feu.
Ces fausses alertes concernent particulièrement les parents de l'école où le système a été déployé. Selon les rapports des médias locaux et les documents obtenus par nos confrères, le système alerte en effet automatiquement la police lorsqu'il détecte des armes ou certaines personnes sur la « liste noire » du district de New York.
« Le risque d'accident, le risque que quelque chose d'horrible se produise parce que le système est structuré tel qu'il est, pour moi, est 1 million de fois plus élevé que [la chance] que les caméras empêchent une situation réelle » selon l'un des parents.
KC Flynn, le PDG de la société, avait envoyé aux responsables du district un long courrier électronique discutant de l'exactitude globale d'AEGIS et de son taux de préjugé racial. Il affirmait que SN Technologies repose sur un algorithme de la société française id3 Technologies qui avait été classé 49e sur 139 dans les tests de préjugés raciaux effectués par l'Institut national des normes et de la technologie (NIST).
Ces tests ont démontré que tous les algorithmes de reconnaissance faciale fonctionnent moins bien sur les personnes de couleur. Or, la société avait affirmé à tort que, lors des tests du NIST, son algorithme avait mal identifié les hommes noirs deux fois plus souvent que les hommes blancs et a mal identifié les femmes noires dix fois plus souvent que les hommes blancs.
En réalité, les tests du NIST de l'algorithme id3 Technologies que la société de Flynn prétendait utiliser ont montré qu'elle identifie à tort les hommes noirs quatre fois plus souvent et les femmes noires seize fois plus souvent que les hommes blancs.
Dans un e-mail envoyé aux administrateurs de l'école, un représentant de SN Technologies a par ailleurs expliqué que l'entreprise apprenait au système à reconnaître les manches de balai afin de l'empêcher de les confondre avec des armes. Mais le mois suivant, le système renvoyait encore une série de fausses alertes d'armes à feu.
Malgré ces problèmes et une litanie de soucis techniques banals décrits dans les courriels, l'école a maintenu le système de 2,7 millions de dollars, payé en utilisant l'argent d'un programme de financement de l'État. Et ce, bien que la reconnaissance faciale soit devenue inutile vu le port obligatoire d'un masque en cette période de pandémie de COVID-19, .
Fondée en 1990 dans la « Silicon Valley » française près de Grenoble, id3 se présente comme « désormais reconnue comme l’un des principaux experts dans la biométrie » et a déjà délivré 30 millions de licences de son algorithme d’authentification sur carte à puce. Son algorithme de reconnaissance faciale est « basé sur les techniques les plus avancées dans le domaine des réseaux neuronaux artificiels et de l’apprentissage automatique », et « fournit des performances sans compromis pour identifier et reconnaître les individus ».
« Grâce à des années de recherche en vision par ordinateur et en intelligence artificielle », ainsi que « la puissance des méthodes par apprentissage profond (deep learning) et un entraînement sur des millions de visages », id3 avance que sa technologie permet l'« identification instantanée d’une personne parmi plusieurs millions d’individus », ainsi que « la détection et la reconnaissance de visages dans une foule en temps réel sans contrainte ».
Contacté la semaine passée, id3 ne nous a pas rappelés. Le Président d'id3 a finalement répondu à nos questions.
Commentaires (22)
#1
Etrangement, ca me rappelle énormément Le Chevalier de Pardaillec
#2
2,7 millions. Oo
#3
J’aime bien comment on mélange tout et n’importe quoi. La couleur de peau, le racisme, et un algorithme de deep learning.
On essaie de faire quoi? faire enfermer un algo en prison pour racisme? Un algo, même d’IA ou de deep learning, c’est con, on lui montre des images avec la description, il apprend, et il reconnait ce qu’il peut. Si le fait d’avoir la peau marron rend le truc plus difficile, c’est juste un fait technique, pas une volonté humaine. Je vois pas le rapport avec le racisme.
Tout aussi débile si on veut pousser le n’importe quoi jusqu’au bout, je dirais même que le la société secrète des gens de couleurs a infiltré et piraté le “Grand Algorithme” de détection pour ne pas se faire détecter eux-même.
#3.1
Si tu apprends à ton IA que la couleur blanche est la norme ce n’est pas l’IA qui est raciste mais bien ceux qui lui impose cette norme que ce soit fait consciemment ou non.
#3.2
+1
Les algo d’apprentissage automatique ne font que reconnaitre statistiquement la concomitance (potentiellement une corrélation) de motif. Faire une moyenne et dire si t’est au dessus ou en dessous, techniquement, c’est déjà un algo d’apprentissage automatique.
Si le matos donne des images déguelasse de vue en contre plongée dans la tignasse des personnes, ce n’est pas forcément le plus simple de distinguer un metaleux de Joséphine ou cousin Machin.
#3.3
A moins que la captation vidéo ne devienne spécifiquement dégueulasse en présence de personnes de couleurs et de balais, il y a un hic dans ton raisonnement
C’est bien l’apprentissage de départ qui pose problème (les banques de données sont principalement “blanches”).
Ça et l’absence de test sur une population démographique réelle pour ces systèmes de reconnaissance (à ce jour, aucun n’a été testé avant mise en production…).
#3.4
T’inquiètes niveau banque de donnée, ces sociétés ont des base de données à eux. En vrai, “l’algo” n’a surement pas grand chose d’innovant, ce qui fait la richesse des société en apprentissage automatique, c’est les bases de données. Le problème des peau sombre existe depuis assez longtemps pour qu’ils aient cherché à corriger ça dans leurs bases surtout quand tu vend ce genre de service.
Et oui, le matériel de prise de vue et souvent bien dégueulasse. Une caméra, même la plus pro qui existe, ont une plage dynamique assez limité. Une caméra n’est pas un œil qui se focus sur une chose, elle est réglé sur la scène générale. Il suffit que ce que tu lui foutes en face d’elle soit majoritairement clair (les sols et les murs sont rarement sombres.) pour que tout ce qui soit plus foncée soit bouché. Je me rappelle d’un reportage d’un photographe qui s’était justement spécialisé pour prendre des portraits de personnes à la peau sombre parce qu’il expliquait que c’est super difficile de faire une bonne photo, les reflets et les ombres sont très différentes.
Pour le balais, comme j’ai dit, un algo d’apprentissage automatique reconnait juste des concomitance, difficile de savoir dans la cas d’apprentissage profond ce qui lui a vraiment fait tilter pourquoi il a vu une arme à la place d’un balais, mais dit toi qu’il y a surement un motif qu’il a associé a une arme qu’il a retrouver dans le balais dans l’image qu’il avait à disposition. Après, ce que l’on a pas ici dans l’article, c’est que l’on a pas beaucoup de détail. A priori, le concierge a pu faire son boulot la plupart du temps, donc les balais ne sont pas systématiquement pris pour des armes. Il suffit cependant que certaine conditions soient réunis pour qu’un “objet allongé” soit statistiquement le plus probablement une arme.
Un algo d’apprentissage automatique n’a aucun concepts a priori, et surtout dans le cas de l’apprentissage profond, les motif et les concomitance ne sont pas forcément quelque chose ayant un relation avec un concept formulé ou formulable. Il est donc très difficile de vraiment comprendre ce qu’il fait dans la réalité. C’est capable de réagir à des micro variation dans les valeurs des pixels imperceptible à l’oeil. On est ainsi capable de faire des réseaux de neurones qui a appris à berner un autre réseau de neurone (adversarial attacks). Mais comme un réseau de neurone n’a aucune connaissance a priori, il a très rarement de “mémoire” (souvent la détection se fait image par image de manière indépendante, tu passes un vidéo ou des diapo, c’est la même chose), il n’a que ses “yeux” et ce qu’il a tiré de sa base de donnée. Nous, en tant qu’humain, on dirait oui, mais en faite non, ça ne peut pas être ça, c’est débile, ça ne colle pas.
#4
Souvent c’est le jeu de données qui sert à l’apprentissage qui est biaisé, s’il y a moins de personnes “de couleur” que de personnes “blanches”, l’algo va avoir plus de mal à distinguer deux personnes d’un groupe sous représenté.
Et c’est pareil pour nous humains, par exemple en tant qu’européens qui allons la plupart du temps avoir du mail à distinguer deux “asiatiques” si nous n’avons pas de contact plus ou moins régulier avec ces populations.
#5
Bah c’est surtout que personne n’a pensé lui proposer suffisamment de personne de couleur pour l’entraîner…
Mais bon s’il faut 2x plus de photo de personne de couleur pour arriver a un résultat correct, ça prend trop de temps selon les managers.
Ça ne sera qu’une personne noire de tué pour rien, ils ne sont pas a si peu
#6
Voilà, ça c’est la startup nation
#7
Manche à balai : Je passe devant la caméra de reconnaissance faciale, souhaites-moi bonne chance !
Arme à feu : Alors cette éval ?
Manche à balai : Boah, le concierge afro de l’établissement m’a porté à l’horizontale et on m’a dit que ça me donnait l’air menaçant…
#8
Vu qu’il y a environ 5% de noirs en France selon les estimations, il est probable que le jeu de données d’apprentissage ne contenait que 5% de noirs, donc en effet, il y en avait moins que de blancs.
Toi, tu proposerais quoi comme proportion “non raciste” ?
#8.1
Le nombre qu’il faut pour qu’il n’y ait pas plus de faux positif chez les noirs que chez les blancs. Et idem pour tout autre type de personne minoritaire.
#8.2
Oh, moi, je propose que l’on revienne à des outils classiques d’analyse morphologique plutôt que d’utiliser des “IA” qui tombent forcément dans les même biais que nous. C’est sûr c’est plus compliqué que de tester des algorithmes de manière empirique quand on a les moyens d’acheter des machines surpuissantes et de laisser mouliner jusqu’à ce que l’on estime (à tort) que le résultat convient.
Sinon certaines personnes entraînées sont très compétentes pour cette tache, pourquoi ne plus les inclure dans la surveillance active ?
Ou alors on considère que l’outil est imparfait et qu’il n’est utilisable que pour les blancs et ses utilisateurs doivent être sensibilisés. Si l’outil marche à 80%, c’est peut-être déjà suffisant pour simplifier le travail des utilisateurs ? Mais cela risque de renforcer leurs a priori racistes…
#9
Une belle démonstration de réponse technologique inadaptée.
#10
Quel rapport entre les jeux de données des labos devraient et la proportion de noirs en France ? Tu penses vraiment que les bases de données de visages des labos français ne sont issus que de personnes françaises ?
La question ne s’adresse pas à moi, mais je vais quand même tenter d’y répondre :
Quand bien même la base ne contiendrait que 5% de noirs, ben t’y met un nombre équivalent de blancs, et pareil pour les autres ethnies/couleurs de peau, précisément pour éviter ce genre de biais. Un peu comme les sondages d’opinions qui essaient d’être représentatifs.
Et si ça ne suffit pas (juste en terme de traitement vidéo, les visages foncés sont plus difficilement calibrables), et ben tu testes et tu ajustes, comme pour les autres IA.
Si l’IA d’un jeu vidéo fait n’importe quoi, tu changes les paramètres et tu re-testes, jusqu’à ce que ça marche à peu près. Ben là, pareil.
Arrêter de croire que ces solutions de reconnaissances faciales sont fiables et balancer tout ça la la poubelle
#10.1
Ça a l’air facile quand tu le racontes comme ça, mais dans la réalité, c’est sans doute un peu différent.
Moi je suis bien content de travailler dans un domaine où mes bugs ne peuvent pas être interprétés comme un biais raciste, et où des bandes de yakafokons ne viennent pas m’expliquer dans un forum comment faire mon job sans rien connaître au domaine.
#10.2
Comme tu le dis, “yakafokons”.
Par exemple, : il semble y avoir une corrélation avec la couleur de peau, une corrélation ne veux pas forcément dire lien de causalité, mais surtout une corrélation n’implique pas un lien de causalité direct, Mais du coup, c’est quoi le problème ? pourquoi ça bloque ? Oui, on peut bourrer les images de visage de noir car on a identifié, avec nos biais, que cette caractéristique est lié à un problème d’identification.
Par exemple, il suffit que comme dit plus haut, les caméras soit réglées normalement pour que les visage noir soit souvent bouché niveau contraste.
Le biais peut aussi venir de la “liste noire” district de New York des personnes à identifier. C’est une autre possibilité.
Bon, dans la réalité, je pense qu’ils bourrent les visages noirs voir qu’ils entrainent un réseau rien que pour ces types de visage.
C’est assez ironique que pour éviter les biais racistes on en soit à catégoriser les personnes…
#11
Les défenseurs des thèses racistes concernant ce logiciel me dont doucement rigoler.
Ces mêmes pseudo défenseurs seraient partis dans les tours si la base d’apprentissage était basée sur une majorité de personnes non blanches.
Un peu de lecture
Edit: je ne sais pas qui a rédigé cet article, c’est très très mal expliqué.
Edit2: et non un algo d’apprentissage n’est pas raciste
#12
Ça me semblait bizarre qu’ils aient affaire à une commande de vol aéronautique (« manche à balai »), mais en fait il s’agit de manche de balai (broomstick).
#13
A la relecture cette phrase peut sembler étrange, lol:
“le système alerte en effet automatiquement la police lorsqu’il détecte des armes ou certaines personnes sur la « liste noire » du district de New York.”
#14
J’aurais trouvé plus intéressant qu’il confonde le manche ou l’arme avec le visage.