Aux USA, une IA de lutte contre l’insécurité hallucine des incidents qui n’existent pas

Citizen, qui compte environ 10 millions d'utilisateurs aux USA, se présente comme une application « où les gens se protègent les uns les autres ». Ces derniers y partagent les incidents, accidents, incendies et autres évènements susceptibles d'affecter les personnes alentour. Les employés de Citizen, de leur côté, écoutent les fréquences radio de la police en permanence afin d'y rajouter leurs propres alertes.

Sauf que récemment, Citizen a commencé à remplacer certains de ses employés par une IA. Certaines de leurs tâches ont par ailleurs été transférées à des travailleurs au Népal et au Kenya payés 1,50 à 2 dollars de l'heure par CloudFactory, un acteur du business process outsourcing (BPO, sous-traitance de diverses tâches dont l'annotation et la modération de contenu).

• Modération, étiquetage de données : visibiliser le rôle de l’industrie africaine

Citizen a aussi licencié 13 de ses salariés. Une source interne explique à 404 Media que ces derniers, syndiqués, avaient « remis en question la baisse des normes éditoriales liée à l'intégration de l'IA, se détournant de la qualité au profit de la quantité ».

L'IA omet des détails, en rajoute, les interprète mal...

Trois sources internes confient à 404 Media qu'après avoir utilisé l'IA pour aider ses employés à rédiger leurs alertes, Citizen a fini par lui confier la tâche d'écouter les radios policières, transcrire les éventuelles alertes, et les publier sur l'application, sans intervention ni supervision humaine.

Or, l'IA a depuis cumulé les erreurs, et partagé des informations qu'elle n'aurait pas dû. Un « accident de véhicule à moteur » notifié sur une radio policière a par exemple été retranscrit comme « accident de véhicule meurtrier » par l'IA, et envoyé aux utilisateurs de l'application.

D'autres fois, l'IA omettait des informations cruciales, comme de préciser qu'un individu venait de commettre un vol « à main armée ». L'IA se trompait aussi parfois sur les adresses, associant des incidents à des localisations incorrectes.

Il lui est aussi arrivé de partager des détails sordides, données sensibles et numéros de plaques d'immatriculation entendus sur les radios policières, mais qui n'ont pas vocation à être diffusés aux utilisateurs de l'application, conformément aux règles directrices de Citizen.

L'IA a même failli compromettre certaines opérations de maintien de l'ordre en partageant avec les utilisateurs de l'application le fait que des policiers avaient localisé un véhicule volé ou un suspect recherché, ce que des employés humains n'auraient jamais partagé.

L'IA a également « halluciné » une alerte laissant entendre que les agents étaient déjà arrivés sur les lieux d'un incident, alors qu'en réalité le dispatcheur ne faisait que fournir des informations complémentaires pendant qu'ils étaient encore en route.

Il lui est aussi arrivé de dupliquer certaines alertes, faute de comprendre qu'elles faisaient référence à un seul et même incident. L'IA a ainsi interprété les différentes adresses partagées par des policiers au cours d'une course poursuite en autant d'incidents différents, faisant croire aux utilisateurs de l'application que la ville était soudainement victime d'une salve d'attaques à répétition.

Le CEO de Citizen avait lancé une chasse à l'homme... erronée

Les sources de 404 Media déplorent que si cela pouvait « fausser la perception de la criminalité dans une zone donnée », cette démultiplication des incidents, artificiellement générés par IA, ne semblaient pas déranger les cadres supérieurs de Citizen, qui « aimaient le fait de voir plus de points sur la carte et se souciaient moins de savoir s'ils étaient légitimes ».

En 2021, deux des journalistes de 404 Media, qui travaillaient alors à Vice, avaient révélé qu'Andrew Frame, le CEO de Citizen, avait offert aux utilisateurs de l'application une prime de 30 000 $ pour arrêter un pyromane présumé, partageant sur l'application le nom et photographie du suspect présumé :

« Cherchez [le nom de la personne]. Cherchez-le. Les membres de la famille de [nom de la personne]. Il n'est pas venu au monde tout seul, nous avons besoin de votre aide. Nous avons besoin de vous pour nous aider à le contacter et à identifier l'endroit où il se trouve. Nous avons besoin de l'odeur de ses vêtements. Il faut que cet homme quitte la rue pour que nous puissions arrêter de brûler la ville de Los Angeles […] Cette personne est le diable et nous devons l'éliminer de la rue. Nous devons remettre de l'ordre dans notre ville. »

La chasse à l'homme prit fin quelques heures plus tard quand la police arrêta le vrai pyromane, qui n'était pas celui que le CEO de Citizen avait dénoncé. À l'époque, Prince Mapp, le responsable de la communauté de Citizen, avait rétorqué avoir « mobilisé une ville pour qu'une personne soit traduite en Justice ».

Des informations vérifiées provenant de sources officielles

Le mois dernier, souligne 404 Media, le maire de New York, Eric Adams, a partagé sur Instagram une photo faisant de lui un « hug » à Prince Mapp, alors que la ville s'associait à Citizen en créant son propre compte géré par la ville.

« Une grande partie de la construction d'une ville plus sûre consiste à s'assurer que les New-Yorkais disposent des informations dont ils ont besoin pour assurer leur propre sécurité et celle de leurs proches », a déclaré le maire Eric Adams dans un communiqué de presse, qui précise que ce partenariat n'entraînerait « aucun coût » pour les finances de la municipalité :

« L'annonce d'aujourd'hui ajoute une nouvelle couche aux stratégies de communication de la ville en matière de sécurité publique, en aidant à atteindre encore plus de résidents avec des informations opportunes et vérifiées provenant de sources officielles. »

404 Media précise que « Citizen n'a pas répondu à de multiples demandes de commentaires ».