Publié dans IA et algorithmes

19

En Inde, un algorithme défectueux prive des milliers de personnes d’aide alimentaire

un bol de riz

À 67 ans, Bismillah Bee n’a jamais possédé de voiture.

Elle vit avec 12 autres membres de sa famille dans une petite maison de trois pièces, et gagne sa vie en épluchant de l’ail pour une entreprise de sa ville. Son mari, tireur de pousse-pousse, est mort d’un cancer il y a deux ans.

Pourtant, en 2021, un système algorithmique déployé par le gouvernement de la région de Telangana a qualifié M. Bee de propriétaire de voiture, les privant des aides alimentaires que le gouvernement fournit aux plus démunis. L’Inde gère l’un des plus grands programmes alimentaires du monde, avec des aides à l’achat de céréales pour près des deux tiers de sa population d’1,4 milliard de personnes.

Au plus fort du cancer de son mari, Mme Bee a dû faire des allers-retours entre lui et les autorités pour tenter de les convaincre qu’ils n’avaient aucune voiture et qu’ils étaient bien pauvres. Le gouvernement ne l’a pas crue : il a fait confiance à son algorithme. Mais le combat de Bismillah Bee est allé jusqu’à la cour suprême indienne.

Jusqu’en 2016, le gouvernement vérifiait l’éligibilité de la population via des visites de terrains. Mais cette année-là, les dirigeants du Telangana ont décidé de déployer Samagra Vedika, un système développé par Posidex Technologies Private Limited et censé offrir une « vision à 360 degrés » de la population, en mêlant plusieurs bases de données.

D’abord créé pour permettre d’identifier les criminels, le système est désormais couramment utilisé pour vérifier la validité des demandes d’aides sociales ou débusquer la fraude à ces aides.

Sauf que dans le cas de la famille Bee, la machine a confondu Syed Ali, le mari de Bismillah Bee, avec Syed Hyder Ali, un homme qui possédait une voiture. Et les autorités de faire confiance au résultat de la machine avant tout.

Selon l’enquête d’Al Jazeera, sur les près de 150 000 personnes rejetées par le programme, plusieurs centaines sont victimes d’erreurs informatiques. Or, une fois exclus, c’est aux citoyens de tenter de prouver qu’ils ont bien droit aux aides.

Selon les travaux de la Cour Suprême indienne, le taux d’erreur de la machine se situe au moins autour de 7,5 %, au-dessus des 5 % que le gouvernement de Telangana avait admis et déclaré avoir corrigées.

19

Tiens, en parlant de ça :

La Section 702 de la loi sur la surveillance du renseignement étranger (Foreign Intelligence Surveillance Act – FISA)

Aux USA, la surveillance des communications d’étrangers sans mandat (FISA) fait débat

Aller FISSA au Sénat

15:40 DroitSécu 2
logo apple en devanture de boutique

Apple autorise puis supprime un émulateur Game Boy sur iOS

Quel est ce phoque ?

14:09 Soft 15
Logo d'Android 14

Android 15 bêta : Wallet par défaut, sécurité des réseaux mobiles et Wi-Fi, bugs sur le NFC

Ce n’est PAS une révolution

11:15 Soft 6
19

Fermer

Commentaires (19)


"nage sa vie", c'est assez poétique comme formulation...
'buttle ou tuttle'... Hélas a croire que "les machines ne commette pas d'erreur"...
5% d'erreur...
C'est énorme! pour un truc qui ruine la vie des gens déjà en bas de l'échelle

Aqua

C'est énorme! pour un truc qui ruine la vie des gens déjà en bas de l'échelle
Nan mais c'est des pauvres, c'est pas grave...

(pour la team premier degré, c'est bien évidemment de l'ironie...)
C'est du niveau moyen de la production de logiciel en Inde : de l'à peu près.
Quelle différence entre le logiciel indien ici en question et les algos de la CAF (oui on a déjà eu cette conversation, m'en rappelle) qui racontent nawak ou les centaines de postiers britanniques accusés à tord de détourner des fonds pendant des années ? (https://fr.wikipedia.org/wiki/Scandale_de_la_Poste_britannique). Le codeur indien a bon dos.

Aqua

Quelle différence entre le logiciel indien ici en question et les algos de la CAF (oui on a déjà eu cette conversation, m'en rappelle) qui racontent nawak ou les centaines de postiers britanniques accusés à tord de détourner des fonds pendant des années ? (https://fr.wikipedia.org/wiki/Scandale_de_la_Poste_britannique). Le codeur indien a bon dos.
Pour les algos de la CAF, qui a démontré qu'il y a des erreurs ? En plus, son but est de détecter des fraudes potentielles. Un humain étudie ensuite le cas et décide.

Pour les postiers, oui, il y a bien un problème.

Mais des exemples d'ailleurs ne change rien à ce que je dis par expérience.

fred42

Pour les algos de la CAF, qui a démontré qu'il y a des erreurs ? En plus, son but est de détecter des fraudes potentielles. Un humain étudie ensuite le cas et décide.

Pour les postiers, oui, il y a bien un problème.

Mais des exemples d'ailleurs ne change rien à ce que je dis par expérience.
Mon propos, c'est que c'est la conception (i.e. le donneur d'ordre/client/politique/whatever) qui est peut-être foireuse dans chacun de ces cas et pas forcément l'implémentation.
Ton expérience indienne garde toute sa valeur bien entendu. La mienne est côté ingénierie systèmes et est très variée (d'excellente à très moyenne).

EDIT: https://www.lemonde.fr/les-decodeurs/article/2023/12/06/algorithme-des-caf-le-departement-de-seine-saint-denis-saisit-la-defenseure-des-droits_6204180_4355770.html
L'erreur (politique) c'est de cibler les pauvres. Les stats (insee etc...) montre que les riches fraudent plus, et pour plus gros que les pauvres (oui on a encore une fois déjà eu cette conversation, mais j'ai l'impression que c'est pas passé).
Modifié le 22/02/2024 à 11h13

Historique des modifications :

Posté le 22/02/2024 à 11h02


Mon propos, c'est que c'est la conception (i.e. le donneur d'ordre/client/politique/whatever) qui est peut-être foireuse dans chacun de ces cas et pas forcément l'implémentation.
Ton expérience indienne garde toute sa valeur bien entendu. La mienne est côté ingénierie systèmes et est très variée (d'excellente à très moyenne).

Aqua

Mon propos, c'est que c'est la conception (i.e. le donneur d'ordre/client/politique/whatever) qui est peut-être foireuse dans chacun de ces cas et pas forcément l'implémentation.
Ton expérience indienne garde toute sa valeur bien entendu. La mienne est côté ingénierie systèmes et est très variée (d'excellente à très moyenne).

EDIT: https://www.lemonde.fr/les-decodeurs/article/2023/12/06/algorithme-des-caf-le-departement-de-seine-saint-denis-saisit-la-defenseure-des-droits_6204180_4355770.html
L'erreur (politique) c'est de cibler les pauvres. Les stats (insee etc...) montre que les riches fraudent plus, et pour plus gros que les pauvres (oui on a encore une fois déjà eu cette conversation, mais j'ai l'impression que c'est pas passé).
Pour détecter les fraudes a la CAF tu suggère d’orienter les recherches chez les riches, qui ne sont pas allocataire ou allocataire a la marge, donc ?

L’erreur politique initial c’est d’avoir accepté l’idée qu’avec du fric on pouvait résoudre des problèmes d’éducation, d’autonomie et de capacité cognitive, c’était un piège et la majorité est tombé dedans.

De plus il y a un net amalgame "pauvres" "pauvres déclarés" dans les discours chez les sauveurs autoproclamés, en agissant de la sorte vous arrivez a censurer une partie des objections mais la démarche est malhonnête : un fraudeur CAF est toujours plus nécessiteux sur sa déclaration que dans la vrai vie et il faut bien être porté que par ses émotions (donc irrationnel) pour croire le contraire... ou faire parti des bénéficiaires indirects qui, s'ils étaient honnêtes, n'auraient aucune carte "altruisme" a jouer.

Aqua

Mon propos, c'est que c'est la conception (i.e. le donneur d'ordre/client/politique/whatever) qui est peut-être foireuse dans chacun de ces cas et pas forcément l'implémentation.
Ton expérience indienne garde toute sa valeur bien entendu. La mienne est côté ingénierie systèmes et est très variée (d'excellente à très moyenne).

EDIT: https://www.lemonde.fr/les-decodeurs/article/2023/12/06/algorithme-des-caf-le-departement-de-seine-saint-denis-saisit-la-defenseure-des-droits_6204180_4355770.html
L'erreur (politique) c'est de cibler les pauvres. Les stats (insee etc...) montre que les riches fraudent plus, et pour plus gros que les pauvres (oui on a encore une fois déjà eu cette conversation, mais j'ai l'impression que c'est pas passé).
Je viens de voir ton édit.

Je parlais bien évidement d'erreur logicielle. Et tu me sors une erreur politique qui ne veut rien dire quant à la qualité d'un logiciel. En plus tu mets un lien qui ne prouve aucune erreur dans le logiciel mais qui relate l'attaque de l'algo par des opposants politiques. Du grand art !

Désolé, je n'ai pas envie de discuter dans ces conditions.

Avec le code source d'un logiciel, c'est assez facile de trouver une erreur si on sait la chercher. Mais il faut déjà savoir que cette erreur existe. Je l'ai déjà fait pour faire corriger une erreur me concernant en passant par une procédure CADA pour obtenir le code. J'ai trouvé précisément où était l'erreur dans leur code. Donc, si personne n'a indiqué sur ce logiciel avoir trouvé une erreur après avoir obtenu le code source, c'est soit qu'ils sont mauvais soit qu'il n'y en a pas de flagrante.
Vu les échelles, il y a forcément des erreurs dans ces procédures administratives, que ce soit fait avec des logiciels ou avec des gens, c'est inévitable. Le plus gros problème ce n'est pas ça, c'est la gestion de ces erreurs, c'est à dire comment on peut les corriger. Et là c'est bien l'administration qui décide combien le logiciel a raison et combien l'administré va devoir galérer pour corriger l'erreur. Il est là le vrai problème, plus que dans les erreurs initiales.
Merci !
et je rajoute ...l'algo (encore plus dopé à l'IA pipeautesque) sert de plausible deniability aux décideurs politiques. "c'est pas ma faute, c'est l'algo qui a dit que...vous comprenez c'est obscure ce machin on sait pas vraiment comment ça marche dedans".
Non seulement le péquin moyen galère à mort pour se faire justice, et en plus la système mis en place empêche (as per design) une vue d'ensemble qui permettrait de le critiquer dans son ensemble. C'est toujours UNE personne seule qui doit se battre pour ses droits.
(la vidéosurveillance algorithmique commence à faire pareil dans les villes où elle a été illégalement implémentée en pointant du doigt les personnes racisées de façon disproportionnée).
Ah, les technocrates et le dieu machine qui permet de dégraisser les services publics
Décidément, les leçons du film WarGames (1983) ne seront jamais apprises (un comble, quand c’est justement son sujet), et notamment celle-ci : « Vous écoutez une machine ! N’en devenez pas une ! »… :craint:
Il y a un article intéressant sur Ars Technica à propos de la mauvaise utilisation que l'on a d'un tableau (en l'occurrence Excel) et des erreurs que ça peut générer
Sinon le budget annuel dépensé pour le programme du planning familial en Inde ?
La machine a fait, fait, et fera des erreurs, c'est admis.
Là où ça coince, c'est quand on prouve à un humain qu'il y a erreur, et que les agents préfèrent toujours croire la machine plutôt que l'humain. Là on arrive à un point de non humanité qui fait peur.
Surtout que si l'usager est un fraudeur, il ne va pas mettre le système en danger. Par contre lui retirer ce qui lui revient de droit, surtout pour ces familles dont la survie dépendent des aides, ça peut être une catastrophe de ne pas les croire, surtout quand ils ont les preuves de la bonne foi.
Ce n'est pas l'IA (ou ses concepteurs) qu'il faut blâmer, mais ceux qui préfèrent déporter leu intelligence et réflexion personnelles sur un outil.
Un Vogon ne lèverait pas le petit doigt pour sauver sa propre grand mère au prise avec la Féroce Blatte Bestiale à griffes de Thral, sans une autorisation en trois exemplaires, signée, transmise, approuvée, rediscutée, perdue, retrouvée, soumise au vote populaire, reperdue et finalement enterrée sous un amas de compost pendant trois mois et recyclée en allume feu.