L'éditeur aurait « menti au sujet de sa technologie raciste », titre Motherboard. Des documents révèlent en effet que le système AEGIS de la société canadienne SN Technologies, reposant sur un algorithme français, identifie mal les étudiants noirs à des taux beaucoup plus élevés et confond les manches à balai avec des armes à feu.
Ces fausses alertes concernent particulièrement les parents de l'école où le système a été déployé. Selon les rapports des médias locaux et les documents obtenus par nos confrères, le système alerte en effet automatiquement la police lorsqu'il détecte des armes ou certaines personnes sur la « liste noire » du district de New York.
« Le risque d'accident, le risque que quelque chose d'horrible se produise parce que le système est structuré tel qu'il est, pour moi, est 1 million de fois plus élevé que [la chance] que les caméras empêchent une situation réelle » selon l'un des parents.
KC Flynn, le PDG de la société, avait envoyé aux responsables du district un long courrier électronique discutant de l'exactitude globale d'AEGIS et de son taux de préjugé racial. Il affirmait que SN Technologies repose sur un algorithme de la société française id3 Technologies qui avait été classé 49e sur 139 dans les tests de préjugés raciaux effectués par l'Institut national des normes et de la technologie (NIST).
Ces tests ont démontré que tous les algorithmes de reconnaissance faciale fonctionnent moins bien sur les personnes de couleur. Or, la société avait affirmé à tort que, lors des tests du NIST, son algorithme avait mal identifié les hommes noirs deux fois plus souvent que les hommes blancs et a mal identifié les femmes noires dix fois plus souvent que les hommes blancs.
En réalité, les tests du NIST de l'algorithme id3 Technologies que la société de Flynn prétendait utiliser ont montré qu'elle identifie à tort les hommes noirs quatre fois plus souvent et les femmes noires seize fois plus souvent que les hommes blancs.
Dans un e-mail envoyé aux administrateurs de l'école, un représentant de SN Technologies a par ailleurs expliqué que l'entreprise apprenait au système à reconnaître les manches de balai afin de l'empêcher de les confondre avec des armes. Mais le mois suivant, le système renvoyait encore une série de fausses alertes d'armes à feu.
Malgré ces problèmes et une litanie de soucis techniques banals décrits dans les courriels, l'école a maintenu le système de 2,7 millions de dollars, payé en utilisant l'argent d'un programme de financement de l'État. Et ce, bien que la reconnaissance faciale soit devenue inutile vu le port obligatoire d'un masque en cette période de pandémie de COVID-19, .
Fondée en 1990 dans la « Silicon Valley » française près de Grenoble, id3 se présente comme « désormais reconnue comme l’un des principaux experts dans la biométrie » et a déjà délivré 30 millions de licences de son algorithme d’authentification sur carte à puce. Son algorithme de reconnaissance faciale est « basé sur les techniques les plus avancées dans le domaine des réseaux neuronaux artificiels et de l’apprentissage automatique », et « fournit des performances sans compromis pour identifier et reconnaître les individus ».
« Grâce à des années de recherche en vision par ordinateur et en intelligence artificielle », ainsi que « la puissance des méthodes par apprentissage profond (deep learning) et un entraînement sur des millions de visages », id3 avance que sa technologie permet l'« identification instantanée d’une personne parmi plusieurs millions d’individus », ainsi que « la détection et la reconnaissance de visages dans une foule en temps réel sans contrainte ».
Contacté la semaine passée, id3 ne nous a pas rappelés. Le Président d'id3 a finalement répondu à nos questions.
Commentaires