Aux États-Unis, le danger des arrestations sur la seule foi d’un résultat algorithmique

Cet automne, un homme nommé Randal Quran Reid a été arrêté pour deux fraudes à la carte bancaire qu’il n’avait pas commise. Le mandat n’indiquait pas qu’il était devenu suspect sur la foi d’une recherche par reconnaissance faciale, via le contrat de la police de Louisiane avec Clearview AI.

Reid ne l’a compris qu’une fois six jours passés en prison, et des milliers de dollars dépensés en frais d’avocat : c’est l’avocat en question qui a entendu un officier évoquer une « correspondance positive » avec le voleur, et compris l’erreur d’identification.

En 2019, une étude du National Institute of Standards and Technology, une agence fédérale américaine, constatait que les systèmes de reconnaissance faciale faisaient des erreurs d'identification des visages noirs et asiatiques 10 à 100 fois plus souvent qu’avec les visages caucasiens. Les femmes et les personnes âgées étaient aussi moins bien reconnues que la moyenne.

Les promoteurs de ces technologies notent que, parmi les millions de recherches effectuées par la police, très peu ont conduit à des arrestations injustifiées (à l’heure actuelle, au moins six cas sont documentés : cinq ont concerné des hommes noirs, un, une femme noire). Mais, interroge le New Yorker. combien l’ont été sans que l’erreur ait été identifiée ?

• Accusée à tort par un algorithme de reconnaissance faciale

Dans les affaires en question, pointe le média dans une longue enquête, les forces de police américaines ne se sont souvent reposées que sur les résultats de ces machines algorithmiques, quand bien même les preuves de leur efficacité manquent.

Pourtant, les officiers expliquent en général ne pas avoir à informer les personnes suspectes qu’elles le sont devenues sur la foi d’une identification automatique. Motif : ces identifications ne sont théoriquement que des pistes qui doivent mener à des enquêtes plus longues.

L’un des problèmes que posent ces technologies, explique l’avocate Clare Garvie, est qu’elles sont entourées d’« une sorte de mystère ». Pour ses usagers, par exemple policiers, difficile de savoir « comment elle fonctionne », mais « on sait que des gens beaucoup plus intelligents que nous l’ont créés ».

Cette vision participe à renforcer la confiance dans les résultats fournis par la machine, au risque, dans le cadre policier, de passer outre des vérifications plus approfondies.