Le code source de la CAF révèle une catégorisation discriminatoire des allocataires
Le 27 novembre 2023 à 18h54
2 min
IA et algorithmes
IA
La Quadrature du Net a obtenu le code source des deux modèles algorithmiques utilisés par la CAF entre 2010 et 2018 pour ses allocataires. Le but : identifier les plus « susceptibles » de frauder, et lancer des procédures de contrôle à leur encontre. Son analyse permet de montrer que la machine traite les données de plus de 32 millions de personnes, dont 13 millions d’enfants, dans des foyers bénéficiaires d’une des allocations fournies par la CAF.
Par ailleurs, le modèle attribue à chacune des personnes concernées ce que La Quadrature appelle un « score de suspicion », entre 0 et 1. Plus ce score s’approche de 1, plus la personne risque d’être catégorisée « suspecte », auquel cas un contrôle de sa situation est déclenchée.
Parmi les variables qui font grimper le score, l’association relève divers critères discriminants, parmi lesquels le fait de toucher des revenus faibles, d’être au chômage, de toucher le RSA, de consacrer une large part de ses revenus à son loyer, ou encore de ne pas avoir de revenus stables.
Être bénéficiaire de l’Allocation adulte handicapée (AAH) en travaillant semble être l’un des paramètres susceptibles de provoquer la plus forte hausse du score d’un allocataire, note encore l’association.
Un article plus complet est disponible ici.
Le 27 novembre 2023 à 18h54
Commentaires (57)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 27/11/2023 à 19h20
C'est pour ce genre d'article que je suis abonné à Next
/s
Modifié le 28/11/2023 à 13h15
J'ai une question de candide pour les linguistes du site :
N'est-ce pas une lapalissade de dire "catégorisation discriminatoire" ?
De ma compréhension une catégorisation se fait justement trier via des critères.
Discriminatoire n'est pas nécessairement péjoratif (comme "critique")
Est-ce que sa subtilité serait via des critères "infamants" ?
Je n'ai pas l'impression que les critères cités le sont.
Si j'habite dans un HML, et que je vois un voisin "sans emploi" avec une voiture de plusieurs dizaines de milliers d'euros, je ne me dis pas nécessairement:" Le pauvre il a dû perdre un membre de sa famille, mais il compense sa peine via l'héritage..."
Le 27/11/2023 à 19h56
Plus t'es dans la M*, plus t'as besoin de la CAF, plus t'es suspect.
Modifié le 27/11/2023 à 20h01
#MindBlowing
Le 27/11/2023 à 20h06
Modifié le 27/11/2023 à 20h37
Plus t'es riche, plus t'es suspect pour la fraude fiscale.
Moins t'es riche, moins t'es suspect pour la fraude fiscale.
Mais là, le critère ne touche pas des populations protégées.
Donc il y a moins d'indignation.
Pour info, la QDN est en guerre contre le scoring.
Leur déclaration de guerre, all-inclusive, est ici:
https://www.laquadrature.net/lutter-contre-les-algos-de-controle/
Du coup leurs cris d'orfraie semblent surtout servir leur propre narratif.
Concernant l'algo de la honte de la CAF (comme dit la QDN), le groupe des mauvais élèves va très certainement "intersecter" celui des populations protégées.
Et comme elles sont protégées, c'est normal de penser qu'on voulait les stigmatiser.
On concluera dont qu'elles sont la cible d'un système qui est forcément fachisant.
Un système qu'il faut donc combattre... ce qui correspond au narratif de départ.
Bref...
Le 27/11/2023 à 22h11
Tu gagnes un million d'euros avec seulement un unique salaire, tu seras moins contrôlé (ça ira beaucoup plus vite) que celui qui gagne autant avec des locations immobilières à travers la France, des portefeuilles d'actions dans 3 banques et 2 entreprises à faire tourner. Il se trouve que plus tu es riche, plus tu multiplies les placements et les activités lucratives.
Quand tu es indemnisé par la CAF, ta situation sociale est précaire. Que tu sois contrôlé n'est pas un problème en soi (l'AAH représente certainement des gros montants et il est normal de contrôler ces versements), le problème est d'être contrôlé du fait de ta situation particulière. Et si la CAF fait une erreur, tu ne devrais pas avoir à rembourser au détriment de ta situation financière (pareil pour les impôts).
Le 27/11/2023 à 20h36
Le 27/11/2023 à 20h11
Le Figaro
Le 27/11/2023 à 20h32
je trouve ça encore plus savoureux quand on connais la suite de l'histoire écrite depuis.
Le 28/11/2023 à 17h59
Sinon, cette déclaration que le PR avait faite avec un style un peu familier, c'est un constat d'une part mais surtout un appel à changer cet état de fait.
Le 28/11/2023 à 08h18
Le 27/11/2023 à 21h19
Plutôt que de dénoncer cela de façon sémantique, il convient plutôt de demander à la CAF si les faits avérés confirment leur algo ou si statistiquement cela n'est pas vrai. Et dans ce cas cela pose problème.
Modifié le 27/11/2023 à 21h47
Le 27/11/2023 à 23h03
Modifié le 27/11/2023 à 23h18
De mon point de vue, c'est totalement logique que des éléments objectifs de la situation personnelle puisse être utilisés pour évaluer le risque de fraude. Mieux vaut ça qu'un jugement humain biaisé ou une utilisation de critères subjectifs.
On est dans une période où les États n'ont jamais été aussi pauvres et faibles, dépassés de tous les cotés, par le secteur privé et par les criminels. Quand l'État est abusé c'est la population qui trinque. Quand des circuits frauduleux sont utilisés pour essorer l'État, c'est le système d'aide sociale qui est fragilisé et politiquement délégitimé (les gens arrêtent de considérer le système comme légitime s'ils perçoivent trop de fraude).
Quand on est rendu à exiger de l'État qu'il n’utilise pas les informations dont il dispose déjà pour évaluer le risque de fraude (on ne parle pas d'une sanction quelconque mais de l'évaluation d'un risque), difficile de ne pas se dire que ça va peut-être un peu trop loin.
Le 27/11/2023 à 23h51
Parce que on vous contrôle parce que d'autres qui ont le même profil que vous ont déjà truandé le système, je n'aime pas vraiment.
J'aimerais aussi connaître l'évaluation de la fraude pour voir si l'enjeu est important.
Le 28/11/2023 à 10h00
Je ne suis pas choqué de voir ces critères pour un algorithme d'aide à la détection des fraudes. Comme l'a dit un commentaire précédent, si statistiquement cela reflètent une réalité alors ainsi soit-il. Après tout, ce n'est pas le résultat du contrôle qui est contrôlé par cet algo.
Si on devait avoir le code source de l'algo pour les fraudes fiscales, d'autres seraient choqués aussi des critères. Mais il en faut bien. Ensuite, si le contrôle révèle une fraude tant mieux sinon tant mieux.
Modifié le 27/11/2023 à 21h02
J'ai trouvé dans la page du site de la CAF recensant l'ensemble des traitements de ce type (ici : https://www.caf.fr/allocataires/informatique-et-libertes ) le communiqué de la CAF sur ce traitement (celui-ci : https://www.caf.fr/sites/default/files/medias/cnaf/DCOM/mentions_legales/informatique_libertes/Communique-Datamining-score.pdf ) et l'avis de la CNIL de mars 2010 (antérieur au RGPD : https://www.legifrance.gouv.fr/cnil/id/CNILTEXT000022205702 )
Le communiqué justifie le traitement par le respect d'une obligation légale.
On peut considérer que ceci (dans l'arrêté cité par le communiqué) : correspond bien à l'obligation légale.
Le 28/11/2023 à 08h55
Mais je doute que l'article nous explique en quoi le critère est mathématiquement incorrect.
Il va plus probablement insister sur le fait qu'il est moralement incorrect.
Le 04/12/2023 à 20h08
Le 28/11/2023 à 09h17
Toujours un grand plaisir les commentaires sur Next, le changement de direction a pas changé la communauté.
On verra jamais autant de zèle de l'administration à se pencher sur la fraude fiscale.
Alors que l'AAH est une des allocations les plus difficiles à obtenir (surtout quand on est handicapé). Les dossiers demandés sont absurdes, les pièces "perdues" à coup sûr, les délais de traitement dépassent souvent l'année. On te l'octroie pour 5 ans au mieux (bon prince) à faire renouveler au cas où tes jambes repoussent entre temps.
Le 28/11/2023 à 09h51
Le 28/11/2023 à 09h55
Le 28/11/2023 à 10h14
Ca t'explique comment se faire 1200€/net par mois sns bosser (AAH + APL + ...)
Le 28/11/2023 à 10h39
J'aide mon colloc à faire ces démarches c'est un enfer, on lui retoque des documents, on lui en demande d'autres, les délais sont dingues. On lui a octroyé l'AAH pour 18 mois après 1 an de traitement de dossier, donc plus que 6 mois de versements il a du direct faire une demande de renouvellement pour pas être sans revenu à la fin.
Il en a aussi chié a obtenir la CSS (équivalent CMU) pour prendre en compte ces frais de santé, quelques mois plus tard la sécu a simplement retiré ses droits sans avertissement, il a du refaire tout un dossier pour réactiver sa carte vitale sans raison (on nous a jamais dit pourquoi ses droits avaient été retirés malgré nos demandes).
Le 28/11/2023 à 10h33
Le 28/11/2023 à 10h37
Le 28/11/2023 à 10h35
Le 28/11/2023 à 09h45
Modifié le 28/11/2023 à 10h04
En d'autres termes, on n'est pas suspect parce qu'on est parent isolé ou qu'on est atteint de handicap. En revanche on peut être contrôlé parce qu'on perçoit des indemnités plutôt élevées, parce que la situation personnelle a changé récemment et qu'il manque des justificatifs, parce qu'on fait l'objet d'un contrôle ponctuel d'une catégorie de prestations selon l'organisation interne de la CAF, etc.
Le 29/11/2023 à 06h39
Le 28/11/2023 à 09h50
J'attends une réponse sérieuse, les personnes derrière l'algo ont forcément des arguments.
Le 28/11/2023 à 10h04
Et ce n'est pas une histoire de méfiance mais de critères de risques. N'oubliez pas que si l'algo se plante et qu'un contrôle est fait sur une personne qui ne fraude pas c'est du temps perdu et de l'argent pas récupérée par ailleurs. Ce n'est absolument pas dans l'intérêt de la CAF d'établir des critères stigmatisants mais plutôt efficaces.
Le 28/11/2023 à 10h19
Le 28/11/2023 à 11h14
Le 28/11/2023 à 11h05
Le 28/11/2023 à 14h22
Le 28/11/2023 à 16h11
Mais c'est une erreur de raisonnement que de croire que la CAF considère tous les très pauvres comme des fraudeurs.
Le 28/11/2023 à 10h21
L'algo a pas du bien fonctionner :/
https://www.dailymotion.com/video/x8o6j96
Le 28/11/2023 à 10h28
Par exemple, pour le critère "toucher le RSA", il semblerait que le RSA soit la fraude la plus importante.
Donc il faut bien savoir qui touche le RSA pour savoir qui controler.
La CAF effectuant plusieurs dizaines de millions de controles dans l'année: soit en physique, soit en croisant les données, il faudrait préciser ce qui est appelé discrimination. Il devrait plutôt s'agir des champs à contrôler pour chaque personne.
Le 28/11/2023 à 11h55
Si par cette phrase, tu te demandes si le RSA est la fraude la plus importante pour la CAF, la réponse est oui et largement (60% environ).
https://www.lesechos.fr/economie-france/social/la-fraude-aux-allocations-a-atteint-un-niveau-record-en-2022-1949360
Si tu te demandes si elle est la plus importante à l'échelle française par exemple, là c'est un grand non par contre ! La fraude sociale, c'est du pipi de chat comparé à la fraude fiscale.
https://www.alternatives-economiques.fr/fraude-fiscale-ecrase-fraude-sociale/00098439
Le 29/11/2023 à 06h43
Le 30/11/2023 à 12h15
Je cherchais à répondre à carbier. N'étant pas sûr du sens de sa phrase, j'ai répondu aux deux sens qui me paraissaient les plus probables. Ni plus, ni moins.
Le 28/11/2023 à 10h52
Au fil des ans, des progrès du big data et des croisements de fichiers, les Caisses d’allocations familiales et les départements intensifient leur chasse aux fraudeurs, parfois jusqu’à l’acharnement.
Le Monde
Le conseiller Pôle emploi qui aidait les allocataires vient d’être licencié
Yann Gaudin, conseiller Pôle emploi à Rennes, vient d’être licencié. Connu pour avoir aidé des centaines d’usagers à récupérer leurs indemnités chômage, la direction de Pôle emploi lui reproche son insubordination et son comportement.
https://www.mediapart.fr/journal/france/160720/le-conseiller-pole-emploi-qui-aidait-les-allocataires-vient-d-etre-licencie
Le 28/11/2023 à 11h02
Le 28/11/2023 à 11h07
Le 28/11/2023 à 12h08
Y'en a plein les journaux des contrôles de ce genre où "bizarrement" il y a semble-t-il 2 adultes qui vivent dans le logement mais c'est jamais le mari ou quelqu'un qui participe au ménage.
Il ne faut pas confondre sélectionner des critères POUR discriminer (faire la chasse aux pauvre) et sélectionner des critères qui sont ceux utilisés par les fraudeurs (pour faire la chasse aux fraudeurs.
On vous monte la tête pour quelque chose de complétement normal et vous tombez dans le panneau direct.
Ici on ne sucre pas les allocataires sur décision de l’algorithme (type ParcourSup ou ADP où tu as pour le coup des choses dégueulasses), on optimise juste des contrôles, si tout est en ordre personne ne perd ses allocations...
Ce serait effectivement plus intéressant de savoir si oui ou non l’algorithme améliore l'efficacité des contrôles ou pas, et si donc les critères retenus sont pertinents ou pas.
Le 28/11/2023 à 14h19
Le 28/11/2023 à 14h16
Le 28/11/2023 à 11h06
Le 04/12/2023 à 20h42
Le 28/11/2023 à 14h27
Et puisque le but est de limiter la fraude avec un nombre restreint de contrôles, alors je vois pas vraiment ce qu’y a de choquant à utiliser ces variables pour guider les contrôles.
De la même façon que pour la fraude à l’IR, je m’attends à ce que les contrôles soient plus courants chez les personnes qui gagnent bien leur vie…
Bref…circulez y’a rien à voir.
Modifié le 28/11/2023 à 17h46
On a construit le modèle de classification à partir de ceux qui avaient fraudés. Mais on sait qu'ils avaient fraudé car on les avait contrôlé. Et ont les avait contrôlé parce qu'on se méfiait d'eux. Ah ah ah (rire patriarcal).
Le 29/11/2023 à 06h45
Le 29/11/2023 à 09h23
Le 30/11/2023 à 09h45
Il se moquait de la justification morale (fruit de l'arbre empoisonné) qu'on voit fleurir généralement dans ce genre de cas.
Mathématiquement le modèle est valide tant que la segmentation de l'échantillon est correcte. Certes le modèle ne sera pas optimal en terme de spéci/sensi sur l'ensemble de la population si l'échantillon était biaisé, mais il n'en reste pas moins valide.