À 67 ans, Bismillah Bee n’a jamais possédé de voiture.
Elle vit avec 12 autres membres de sa famille dans une petite maison de trois pièces, et gagne sa vie en épluchant de l’ail pour une entreprise de sa ville. Son mari, tireur de pousse-pousse, est mort d’un cancer il y a deux ans.
Pourtant, en 2021, un système algorithmique déployé par le gouvernement de la région de Telangana a qualifié M. Bee de propriétaire de voiture, les privant des aides alimentaires que le gouvernement fournit aux plus démunis. L’Inde gère l’un des plus grands programmes alimentaires du monde, avec des aides à l’achat de céréales pour près des deux tiers de sa population d’1,4 milliard de personnes.
Au plus fort du cancer de son mari, Mme Bee a dû faire des allers-retours entre lui et les autorités pour tenter de les convaincre qu’ils n’avaient aucune voiture et qu’ils étaient bien pauvres. Le gouvernement ne l’a pas crue : il a fait confiance à son algorithme. Mais le combat de Bismillah Bee est allé jusqu’à la cour suprême indienne.
Jusqu’en 2016, le gouvernement vérifiait l’éligibilité de la population via des visites de terrains. Mais cette année-là, les dirigeants du Telangana ont décidé de déployer Samagra Vedika, un système développé par Posidex Technologies Private Limited et censé offrir une « vision à 360 degrés » de la population, en mêlant plusieurs bases de données.
D’abord créé pour permettre d’identifier les criminels, le système est désormais couramment utilisé pour vérifier la validité des demandes d’aides sociales ou débusquer la fraude à ces aides.
Sauf que dans le cas de la famille Bee, la machine a confondu Syed Ali, le mari de Bismillah Bee, avec Syed Hyder Ali, un homme qui possédait une voiture. Et les autorités de faire confiance au résultat de la machine avant tout.
Selon l’enquête d’Al Jazeera, sur les près de 150 000 personnes rejetées par le programme, plusieurs centaines sont victimes d’erreurs informatiques. Or, une fois exclus, c’est aux citoyens de tenter de prouver qu’ils ont bien droit aux aides.
Selon les travaux de la Cour Suprême indienne, le taux d’erreur de la machine se situe au moins autour de 7,5 %, au-dessus des 5 % que le gouvernement de Telangana avait admis et déclaré avoir corrigées.
Commentaires (19)
#1
#2
#3
#3.1
#3.2
(pour la team premier degré, c'est bien évidemment de l'ironie...)
#4
#4.1
#4.2
Pour les postiers, oui, il y a bien un problème.
Mais des exemples d'ailleurs ne change rien à ce que je dis par expérience.
#4.3
Ton expérience indienne garde toute sa valeur bien entendu. La mienne est côté ingénierie systèmes et est très variée (d'excellente à très moyenne).
EDIT: https://www.lemonde.fr/les-decodeurs/article/2023/12/06/algorithme-des-caf-le-departement-de-seine-saint-denis-saisit-la-defenseure-des-droits_6204180_4355770.html
L'erreur (politique) c'est de cibler les pauvres. Les stats (insee etc...) montre que les riches fraudent plus, et pour plus gros que les pauvres (oui on a encore une fois déjà eu cette conversation, mais j'ai l'impression que c'est pas passé).
Historique des modifications :
Posté le 22/02/2024 à 11h02
Mon propos, c'est que c'est la conception (i.e. le donneur d'ordre/client/politique/whatever) qui est peut-être foireuse dans chacun de ces cas et pas forcément l'implémentation.
Ton expérience indienne garde toute sa valeur bien entendu. La mienne est côté ingénierie systèmes et est très variée (d'excellente à très moyenne).
#4.4
L’erreur politique initial c’est d’avoir accepté l’idée qu’avec du fric on pouvait résoudre des problèmes d’éducation, d’autonomie et de capacité cognitive, c’était un piège et la majorité est tombé dedans.
De plus il y a un net amalgame "pauvres" "pauvres déclarés" dans les discours chez les sauveurs autoproclamés, en agissant de la sorte vous arrivez a censurer une partie des objections mais la démarche est malhonnête : un fraudeur CAF est toujours plus nécessiteux sur sa déclaration que dans la vrai vie et il faut bien être porté que par ses émotions (donc irrationnel) pour croire le contraire... ou faire parti des bénéficiaires indirects qui, s'ils étaient honnêtes, n'auraient aucune carte "altruisme" a jouer.
#4.5
Je parlais bien évidement d'erreur logicielle. Et tu me sors une erreur politique qui ne veut rien dire quant à la qualité d'un logiciel. En plus tu mets un lien qui ne prouve aucune erreur dans le logiciel mais qui relate l'attaque de l'algo par des opposants politiques. Du grand art !
Désolé, je n'ai pas envie de discuter dans ces conditions.
Avec le code source d'un logiciel, c'est assez facile de trouver une erreur si on sait la chercher. Mais il faut déjà savoir que cette erreur existe. Je l'ai déjà fait pour faire corriger une erreur me concernant en passant par une procédure CADA pour obtenir le code. J'ai trouvé précisément où était l'erreur dans leur code. Donc, si personne n'a indiqué sur ce logiciel avoir trouvé une erreur après avoir obtenu le code source, c'est soit qu'ils sont mauvais soit qu'il n'y en a pas de flagrante.
#5
#5.1
et je rajoute ...l'algo (encore plus dopé à l'IA pipeautesque) sert de plausible deniability aux décideurs politiques. "c'est pas ma faute, c'est l'algo qui a dit que...vous comprenez c'est obscure ce machin on sait pas vraiment comment ça marche dedans".
Non seulement le péquin moyen galère à mort pour se faire justice, et en plus la système mis en place empêche (as per design) une vue d'ensemble qui permettrait de le critiquer dans son ensemble. C'est toujours UNE personne seule qui doit se battre pour ses droits.
(la vidéosurveillance algorithmique commence à faire pareil dans les villes où elle a été illégalement implémentée en pointant du doigt les personnes racisées de façon disproportionnée).
#6
#7
#8
#9
#10
Là où ça coince, c'est quand on prouve à un humain qu'il y a erreur, et que les agents préfèrent toujours croire la machine plutôt que l'humain. Là on arrive à un point de non humanité qui fait peur.
Surtout que si l'usager est un fraudeur, il ne va pas mettre le système en danger. Par contre lui retirer ce qui lui revient de droit, surtout pour ces familles dont la survie dépendent des aides, ça peut être une catastrophe de ne pas les croire, surtout quand ils ont les preuves de la bonne foi.
Ce n'est pas l'IA (ou ses concepteurs) qu'il faut blâmer, mais ceux qui préfèrent déporter leu intelligence et réflexion personnelles sur un outil.
#10.1