En Inde, un algorithme défectueux prive des milliers de personnes d’aide alimentaire
Le 22 février à 07h37
3 min
IA et algorithmes
IA
À 67 ans, Bismillah Bee n’a jamais possédé de voiture.
Elle vit avec 12 autres membres de sa famille dans une petite maison de trois pièces, et gagne sa vie en épluchant de l’ail pour une entreprise de sa ville. Son mari, tireur de pousse-pousse, est mort d’un cancer il y a deux ans.
Pourtant, en 2021, un système algorithmique déployé par le gouvernement de la région de Telangana a qualifié M. Bee de propriétaire de voiture, les privant des aides alimentaires que le gouvernement fournit aux plus démunis. L’Inde gère l’un des plus grands programmes alimentaires du monde, avec des aides à l’achat de céréales pour près des deux tiers de sa population d’1,4 milliard de personnes.
Au plus fort du cancer de son mari, Mme Bee a dû faire des allers-retours entre lui et les autorités pour tenter de les convaincre qu’ils n’avaient aucune voiture et qu’ils étaient bien pauvres. Le gouvernement ne l’a pas crue : il a fait confiance à son algorithme. Mais le combat de Bismillah Bee est allé jusqu’à la cour suprême indienne.
Jusqu’en 2016, le gouvernement vérifiait l’éligibilité de la population via des visites de terrains. Mais cette année-là, les dirigeants du Telangana ont décidé de déployer Samagra Vedika, un système développé par Posidex Technologies Private Limited et censé offrir une « vision à 360 degrés » de la population, en mêlant plusieurs bases de données.
D’abord créé pour permettre d’identifier les criminels, le système est désormais couramment utilisé pour vérifier la validité des demandes d’aides sociales ou débusquer la fraude à ces aides.
Sauf que dans le cas de la famille Bee, la machine a confondu Syed Ali, le mari de Bismillah Bee, avec Syed Hyder Ali, un homme qui possédait une voiture. Et les autorités de faire confiance au résultat de la machine avant tout.
Selon l’enquête d’Al Jazeera, sur les près de 150 000 personnes rejetées par le programme, plusieurs centaines sont victimes d’erreurs informatiques. Or, une fois exclus, c’est aux citoyens de tenter de prouver qu’ils ont bien droit aux aides.
Selon les travaux de la Cour Suprême indienne, le taux d’erreur de la machine se situe au moins autour de 7,5 %, au-dessus des 5 % que le gouvernement de Telangana avait admis et déclaré avoir corrigées.
Le 22 février à 07h37
Commentaires (19)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 22/02/2024 à 08h12
Le 22/02/2024 à 08h21
Le 22/02/2024 à 08h34
Le 22/02/2024 à 09h43
Le 22/02/2024 à 11h32
(pour la team premier degré, c'est bien évidemment de l'ironie...)
Le 22/02/2024 à 09h42
Le 22/02/2024 à 09h48
Le 22/02/2024 à 10h00
Pour les postiers, oui, il y a bien un problème.
Mais des exemples d'ailleurs ne change rien à ce que je dis par expérience.
Modifié le 22/02/2024 à 11h13
Ton expérience indienne garde toute sa valeur bien entendu. La mienne est côté ingénierie systèmes et est très variée (d'excellente à très moyenne).
EDIT:
L'erreur (politique) c'est de cibler les pauvres. Les stats (insee etc...) montre que les riches fraudent plus, et pour plus gros que les pauvres (oui on a encore une fois déjà eu cette conversation, mais j'ai l'impression que c'est pas passé).
Le 22/02/2024 à 19h46
L’erreur politique initial c’est d’avoir accepté l’idée qu’avec du fric on pouvait résoudre des problèmes d’éducation, d’autonomie et de capacité cognitive, c’était un piège et la majorité est tombé dedans.
De plus il y a un net amalgame "pauvres" "pauvres déclarés" dans les discours chez les sauveurs autoproclamés, en agissant de la sorte vous arrivez a censurer une partie des objections mais la démarche est malhonnête : un fraudeur CAF est toujours plus nécessiteux sur sa déclaration que dans la vrai vie et il faut bien être porté que par ses émotions (donc irrationnel) pour croire le contraire... ou faire parti des bénéficiaires indirects qui, s'ils étaient honnêtes, n'auraient aucune carte "altruisme" a jouer.
Le 22/02/2024 à 20h09
Je parlais bien évidement d'erreur logicielle. Et tu me sors une erreur politique qui ne veut rien dire quant à la qualité d'un logiciel. En plus tu mets un lien qui ne prouve aucune erreur dans le logiciel mais qui relate l'attaque de l'algo par des opposants politiques. Du grand art !
Désolé, je n'ai pas envie de discuter dans ces conditions.
Avec le code source d'un logiciel, c'est assez facile de trouver une erreur si on sait la chercher. Mais il faut déjà savoir que cette erreur existe. Je l'ai déjà fait pour faire corriger une erreur me concernant en passant par une procédure CADA pour obtenir le code. J'ai trouvé précisément où était l'erreur dans leur code. Donc, si personne n'a indiqué sur ce logiciel avoir trouvé une erreur après avoir obtenu le code source, c'est soit qu'ils sont mauvais soit qu'il n'y en a pas de flagrante.
Le 22/02/2024 à 10h03
Le 22/02/2024 à 11h07
et je rajoute ...l'algo (encore plus dopé à l'IA pipeautesque) sert de plausible deniability aux décideurs politiques. "c'est pas ma faute, c'est l'algo qui a dit que...vous comprenez c'est obscure ce machin on sait pas vraiment comment ça marche dedans".
Non seulement le péquin moyen galère à mort pour se faire justice, et en plus la système mis en place empêche (as per design) une vue d'ensemble qui permettrait de le critiquer dans son ensemble. C'est toujours UNE personne seule qui doit se battre pour ses droits.
(la vidéosurveillance algorithmique commence à faire pareil dans les villes où elle a été illégalement implémentée en pointant du doigt les personnes racisées de façon disproportionnée).
Le 22/02/2024 à 11h03
Le 22/02/2024 à 11h10
Le 22/02/2024 à 11h41
Le 22/02/2024 à 12h47
Le 22/02/2024 à 15h37
Là où ça coince, c'est quand on prouve à un humain qu'il y a erreur, et que les agents préfèrent toujours croire la machine plutôt que l'humain. Là on arrive à un point de non humanité qui fait peur.
Surtout que si l'usager est un fraudeur, il ne va pas mettre le système en danger. Par contre lui retirer ce qui lui revient de droit, surtout pour ces familles dont la survie dépendent des aides, ça peut être une catastrophe de ne pas les croire, surtout quand ils ont les preuves de la bonne foi.
Ce n'est pas l'IA (ou ses concepteurs) qu'il faut blâmer, mais ceux qui préfèrent déporter leu intelligence et réflexion personnelles sur un outil.
Le 22/02/2024 à 19h30