Connexion
Abonnez-vous

Le code source de la CAF révèle une catégorisation discriminatoire des allocataires

Le code source de la CAF révèle une catégorisation discriminatoire des allocataires

Le 27 novembre 2023 à 18h54

La Quadrature du Net a obtenu le code source des deux modèles algorithmiques utilisés par la CAF entre 2010 et 2018 pour ses allocataires. Le but : identifier les plus « susceptibles » de frauder, et lancer des procédures de contrôle à leur encontre. Son analyse permet de montrer que la machine traite les données de plus de 32 millions de personnes, dont 13 millions d’enfants, dans des foyers bénéficiaires d’une des allocations fournies par la CAF. 


Par ailleurs, le modèle attribue à chacune des personnes concernées ce que La Quadrature appelle un « score de suspicion », entre 0 et 1. Plus ce score s’approche de 1, plus la personne risque d’être catégorisée « suspecte », auquel cas un contrôle de sa situation est déclenchée.

Parmi les variables qui font grimper le score, l’association relève divers critères discriminants, parmi lesquels le fait de toucher des revenus faibles, d’être au chômage, de toucher le RSA, de consacrer une large part de ses revenus à son loyer, ou encore de ne pas avoir de revenus stables.

Être bénéficiaire de l’Allocation adulte handicapée (AAH) en travaillant semble être l’un des paramètres susceptibles de provoquer la plus forte hausse du score d’un allocataire, note encore l’association.

Un article plus complet est disponible ici.

Le 27 novembre 2023 à 18h54

Commentaires (57)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
Les critères discriminants sont discriminatoires.

C'est pour ce genre d'article que je suis abonné à Next
/s
votre avatar
Nous sommes peut-être sur la même base.
J'ai une question de candide pour les linguistes du site :
N'est-ce pas une lapalissade de dire "catégorisation discriminatoire" ?
De ma compréhension une catégorisation se fait justement trier via des critères.
Discriminatoire n'est pas nécessairement péjoratif (comme "critique")
Est-ce que sa subtilité serait via des critères "infamants" ?
Je n'ai pas l'impression que les critères cités le sont.

Si j'habite dans un HML, et que je vois un voisin "sans emploi" avec une voiture de plusieurs dizaines de milliers d'euros, je ne me dis pas nécessairement:" Le pauvre il a dû perdre un membre de sa famille, mais il compense sa peine via l'héritage..."
votre avatar
Donc en gros :
Plus t'es dans la M*, plus t'as besoin de la CAF, plus t'es suspect.
votre avatar
Moins t'as besoin de la CAF, moins t'as de raison de la truander, donc moins t'es suspect.

#MindBlowing
votre avatar
Plus t'es riche, plus tu es méritant et honnête.
votre avatar
non.
Plus t'es riche, plus t'es suspect pour la fraude fiscale.
Moins t'es riche, moins t'es suspect pour la fraude fiscale.

Mais là, le critère ne touche pas des populations protégées.
Donc il y a moins d'indignation.

Pour info, la QDN est en guerre contre le scoring.
Leur déclaration de guerre, all-inclusive, est ici:
https://www.laquadrature.net/lutter-contre-les-algos-de-controle/

Du coup leurs cris d'orfraie semblent surtout servir leur propre narratif.

Concernant l'algo de la honte de la CAF (comme dit la QDN), le groupe des mauvais élèves va très certainement "intersecter" celui des populations protégées.
Et comme elles sont protégées, c'est normal de penser qu'on voulait les stigmatiser.
On concluera dont qu'elles sont la cible d'un système qui est forcément fachisant.
Un système qu'il faut donc combattre... ce qui correspond au narratif de départ.
Bref...
votre avatar
Tu peux être riche et payer ton impôt rubis sur l'ongle. C'est pas un problème de situation de richesse, c'est un problème de contrôle de collecte de l'impôt.

Tu gagnes un million d'euros avec seulement un unique salaire, tu seras moins contrôlé (ça ira beaucoup plus vite) que celui qui gagne autant avec des locations immobilières à travers la France, des portefeuilles d'actions dans 3 banques et 2 entreprises à faire tourner. Il se trouve que plus tu es riche, plus tu multiplies les placements et les activités lucratives.

Quand tu es indemnisé par la CAF, ta situation sociale est précaire. Que tu sois contrôlé n'est pas un problème en soi (l'AAH représente certainement des gros montants et il est normal de contrôler ces versements), le problème est d'être contrôlé du fait de ta situation particulière. Et si la CAF fait une erreur, tu ne devrais pas avoir à rembourser au détriment de ta situation financière (pareil pour les impôts).
votre avatar
L'honnêteté vs les revenus se modélise peut-être part une courbe de gauss..... :-)
votre avatar
« La politique sociale, regardez : on met un pognon de dingue dans des minima sociaux, les gens ils sont quand même pauvres. On n’en sort pas. Les gens qui naissent pauvres, ils restent pauvres. Ceux qui tombent pauvres, ils restent pauvres. On doit avoir un truc qui permette aux gens de s’en sortir. »

https://www.lefigaro.fr/flash-actu/2018/06/13/97001-20180613FILWWW00015-macron-on-met-un-pognon-de-dingue-dans-des-minima-sociaux-les-gens-sont-quand-meme-pauvres.php
votre avatar
Merci de ce rappel.

je trouve ça encore plus savoureux quand on connais la suite de l'histoire écrite depuis.
votre avatar
C'est quoi la suite de l'histoire ?

Sinon, cette déclaration que le PR avait faite avec un style un peu familier, c'est un constat d'une part mais surtout un appel à changer cet état de fait.
votre avatar
C'est mieux la politique des riches : on donne un pognon de dingue aux riches et ils sont encore plus riches.
votre avatar
Le parallèle a déjà été fait: plus tes revenus sont faibles moins tu seras soumis à un controle fiscal. Plus tes revenus sont élevés moins tu seras soumis à un controle de la CAF.

Plutôt que de dénoncer cela de façon sémantique, il convient plutôt de demander à la CAF si les faits avérés confirment leur algo ou si statistiquement cela n'est pas vrai. Et dans ce cas cela pose problème.
votre avatar
J'imagine bien que plus on est susceptible de payer beaucoup d'impôts, plus on est contrôlé. Plus on est susceptible de percevoir beaucoup d'indemnisation, plus on est contrôlé. Dans ce cas, l'algo se fixe sur le montant, pas sur la situation personnelle du contribuable ou de l'allocataire. Ce n'est pas de la sémantique, c'est un principe égalitaire.
votre avatar
Si les allocataires CAF ne souhaitent pas que leurs situations personnelles soient analysées en cas de contrôle peut-être qu'il faudrait que leurs situations personnelles ne servent plus d'argument pour être "bénéficiaire", non?
votre avatar
Le montant perçu fait partie de la situation personnelle, c'est un élément parmi d'autres.

De mon point de vue, c'est totalement logique que des éléments objectifs de la situation personnelle puisse être utilisés pour évaluer le risque de fraude. Mieux vaut ça qu'un jugement humain biaisé ou une utilisation de critères subjectifs.

On est dans une période où les États n'ont jamais été aussi pauvres et faibles, dépassés de tous les cotés, par le secteur privé et par les criminels. Quand l'État est abusé c'est la population qui trinque. Quand des circuits frauduleux sont utilisés pour essorer l'État, c'est le système d'aide sociale qui est fragilisé et politiquement délégitimé (les gens arrêtent de considérer le système comme légitime s'ils perçoivent trop de fraude).

Quand on est rendu à exiger de l'État qu'il n’utilise pas les informations dont il dispose déjà pour évaluer le risque de fraude (on ne parle pas d'une sanction quelconque mais de l'évaluation d'un risque), difficile de ne pas se dire que ça va peut-être un peu trop loin.
votre avatar
Je préférerais que le contrôle se fasse sur des croisements de données (avec d'autres administrations si besoin) et donc sur une détection d'erreur que sur des statistiques.
Parce que on vous contrôle parce que d'autres qui ont le même profil que vous ont déjà truandé le système, je n'aime pas vraiment.

J'aimerais aussi connaître l'évaluation de la fraude pour voir si l'enjeu est important.
votre avatar
L'enjeu ne sera jamais aussi important que la fraude fiscale, c'est certain. Néanmoins, toutes les fraudes doivent être chassées, ça me semble de la logique simple.
Je ne suis pas choqué de voir ces critères pour un algorithme d'aide à la détection des fraudes. Comme l'a dit un commentaire précédent, si statistiquement cela reflètent une réalité alors ainsi soit-il. Après tout, ce n'est pas le résultat du contrôle qui est contrôlé par cet algo.
Si on devait avoir le code source de l'algo pour les fraudes fiscales, d'autres seraient choqués aussi des critères. Mais il en faut bien. Ensuite, si le contrôle révèle une fraude tant mieux sinon tant mieux.
votre avatar
Quand on parle de traitement de données personnelles, je pense RGPD.

J'ai trouvé dans la page du site de la CAF recensant l'ensemble des traitements de ce type (ici : https://www.caf.fr/allocataires/informatique-et-libertes ) le communiqué de la CAF sur ce traitement (celui-ci : https://www.caf.fr/sites/default/files/medias/cnaf/DCOM/mentions_legales/informatique_libertes/Communique-Datamining-score.pdf ) et l'avis de la CNIL de mars 2010 (antérieur au RGPD : https://www.legifrance.gouv.fr/cnil/id/CNILTEXT000022205702 )

Le communiqué justifie le traitement par le respect d'une obligation légale.

On peut considérer que ceci (dans l'arrêté cité par le communiqué) :
-détermine les modalités d'analyse des résultats des contrôles et des indicateurs, ainsi que d'identification des principales causes d'erreurs ou d'anomalies par catégorie d'opérations. Le plan national de contrôle interne précise les conditions de définition et de suivi des actions permettant de réduire ces anomalies à la source ou, à défaut, de les détecter et les corriger.
correspond bien à l'obligation légale.
votre avatar
Un article plus complet est à venir.
Attendons de voir l'article complet (du moins pour les abonnés).

Mais je doute que l'article nous explique en quoi le critère est mathématiquement incorrect.
Il va plus probablement insister sur le fait qu'il est moralement incorrect.
votre avatar
<3
votre avatar
Ah toutes ces personnes marginalisées, ces pauvres et ces handicapés qui méritent bien qu'on se méfie d'eux !
Toujours un grand plaisir les commentaires sur Next, le changement de direction a pas changé la communauté.
On verra jamais autant de zèle de l'administration à se pencher sur la fraude fiscale.
Être bénéficiaire de l’Allocation adulte handicapée (AAH) en travaillant semble être l’un des paramètres susceptibles de provoquer la plus forte hausse du score d’un allocataire, note encore l’association.
Alors que l'AAH est une des allocations les plus difficiles à obtenir (surtout quand on est handicapé). Les dossiers demandés sont absurdes, les pièces "perdues" à coup sûr, les délais de traitement dépassent souvent l'année. On te l'octroie pour 5 ans au mieux (bon prince) à faire renouveler au cas où tes jambes repoussent entre temps.
votre avatar
L'AAH... la gestion de l'AAH ça c'est un vrai scandale.
votre avatar
Si je te suis c'est plus facile d'obtenir l'AAH en étant pas handicapé qu'en l'étant ? (Demande sincère)
votre avatar
il y a des tutos sur le net pour obtenir facilement l'AAH.

Ca t'explique comment se faire 1200€/net par mois sns bosser (AAH + APL + ...)
votre avatar
Je n'ai jamais dit ça, les critères sont vraiment sévères sur les handicaps à avoir. Mais en étant handicapé tu as souvent plus de mal à effectuer des démarches, faire les déplacements nécessaires, aller au rendez vous, remplir des documents dans les temps.

J'aide mon colloc à faire ces démarches c'est un enfer, on lui retoque des documents, on lui en demande d'autres, les délais sont dingues. On lui a octroyé l'AAH pour 18 mois après 1 an de traitement de dossier, donc plus que 6 mois de versements il a du direct faire une demande de renouvellement pour pas être sans revenu à la fin.

Il en a aussi chié a obtenir la CSS (équivalent CMU) pour prendre en compte ces frais de santé, quelques mois plus tard la sécu a simplement retiré ses droits sans avertissement, il a du refaire tout un dossier pour réactiver sa carte vitale sans raison (on nous a jamais dit pourquoi ses droits avaient été retirés malgré nos demandes).
votre avatar
On oublie très souvent aussi que la fraude sociale est INFÉRIEURE aux prestations qui ne sont pas reversées aux personnes qui y ont droit. Mais on voit pas la CAF aller chercher les gens qui ont des droits pour leur verser (au contraire les employés qui font ces efforts sont virés gentiment parce que faudrait pas déconner).
votre avatar
Tu as une source pour confirmer que des employés se seraient fait virer à cause de cela ?
votre avatar
Alors que l'AAH est une des allocations les plus difficiles à obtenir (surtout quand on est handicapé). Les dossiers demandés sont absurdes, les pièces "perdues" à coup sûr, les délais de traitement dépassent souvent l'année. On te l'octroie pour 5 ans au mieux (bon prince) à faire renouveler au cas où tes jambes repoussent entre temps.
C'est la même chose pour l'ALD: tout le monde n'est pas égal face au handicap. Dans certains cas, la situation peut évoluer favorablement.
votre avatar
Du coup, qu'est ce qui est discriminatoire concrètement ?
votre avatar
Est discriminatoire, sauf erreur de ma part, une action qui consiste à marginaliser une personne en raison de sa personne (atteinte de handicap, mariée ou célibataire, vivant seule, avec ou sans enfants, etc).

En d'autres termes, on n'est pas suspect parce qu'on est parent isolé ou qu'on est atteint de handicap. En revanche on peut être contrôlé parce qu'on perçoit des indemnités plutôt élevées, parce que la situation personnelle a changé récemment et qu'il manque des justificatifs, parce qu'on fait l'objet d'un contrôle ponctuel d'une catégorie de prestations selon l'organisation interne de la CAF, etc.
votre avatar
marginaliser ? vous prenez que le terme péjoratif de discriminatoire / discrimination . C'est avant tout un critère pour différencier les catégories. Blond brun noir est un critère discriminant .
votre avatar
Quelque chose m'échappe. Plus on est pauvre et dans une situation instable et plus on a besoins d'aides. Pourquoi donc la CAF se méfierait des pauvres ? Au contraire un riche qui demande des aides est suspect.

J'attends une réponse sérieuse, les personnes derrière l'algo ont forcément des arguments.
votre avatar
Mais le revenus ou les richesses sont un préalable à la demande de droit sociaux. Si tu es hors fourchette, tu n'as pas d'aide, point. Et quel est l'intérêt pour un riche de demander 100 ou 200€ d'aide quand il gagne 4000€ (il me semble est le seuil de richesse en France cette année). Doit pas y en avoir beaucoup.
Et ce n'est pas une histoire de méfiance mais de critères de risques. N'oubliez pas que si l'algo se plante et qu'un contrôle est fait sur une personne qui ne fraude pas c'est du temps perdu et de l'argent pas récupérée par ailleurs. Ce n'est absolument pas dans l'intérêt de la CAF d'établir des critères stigmatisants mais plutôt efficaces.
votre avatar
Un riche n'a pas le droit aux aides de la CAF
votre avatar
La CAF gère aussi les aides liés aux enfants et certaines sont versés quelque soit le niveau de ressource, donc si un "riche" peut toucher des aides de la CAF.
votre avatar
La CAF ne se méfie pas des pauvres, elle se méfie de ceux qui prétendent être pauvres pour toucher des aides. Dans le lot, il y a les vrais pauvres, mais il y a aussi les fraudeurs.
votre avatar
Traquer les fraudeurs, OK. Mais est-ce qu'un bon critère pour les repérer c'est "plus ils sont -- ou ont l'air -- pauvre, plus c'est suspect" ?
votre avatar
Les fraudeurs se donnent l'air pauvre, voire très pauvre, pour toucher un max d'allocations. Ils ne le font pas pour toucher seulement des clopinettes. Par conséquent, si tu cherches des fraudeurs, il est pertinent d'aller contrôler ceux qui ont l'air très pauvres.
Mais c'est une erreur de raisonnement que de croire que la CAF considère tous les très pauvres comme des fraudeurs.
votre avatar
Cela me fait souvenir de la vidéo que j'avions sauvegardé ^^
L'algo a pas du bien fonctionner :/

https://www.dailymotion.com/video/x8o6j96
votre avatar
Par rapport aux critères, je suis également curieux d'avoir le complément d'enquête.

Par exemple, pour le critère "toucher le RSA", il semblerait que le RSA soit la fraude la plus importante.
Donc il faut bien savoir qui touche le RSA pour savoir qui controler.

La CAF effectuant plusieurs dizaines de millions de controles dans l'année: soit en physique, soit en croisant les données, il faudrait préciser ce qui est appelé discrimination. Il devrait plutôt s'agir des champs à contrôler pour chaque personne.
votre avatar
"Par exemple, pour le critère "toucher le RSA", il semblerait que le RSA soit la fraude la plus importante."

Si par cette phrase, tu te demandes si le RSA est la fraude la plus importante pour la CAF, la réponse est oui et largement (60% environ).

https://www.lesechos.fr/economie-france/social/la-fraude-aux-allocations-a-atteint-un-niveau-record-en-2022-1949360

Si tu te demandes si elle est la plus importante à l'échelle française par exemple, là c'est un grand non par contre ! La fraude sociale, c'est du pipi de chat comparé à la fraude fiscale.

https://www.alternatives-economiques.fr/fraude-fiscale-ecrase-fraude-sociale/00098439
votre avatar
Oui sauf que le RSA c'est la CAF ( ou un autre organisme de droit privé ) qui la verse .. les fraude fiscale ne sont pas de leur ressort . on parle toujours de la CAF non ?
votre avatar
Salut Elwyns !

Je cherchais à répondre à carbier. N'étant pas sûr du sens de sa phrase, j'ai répondu aux deux sens qui me paraissaient les plus probables. Ni plus, ni moins.
votre avatar
« L’entretien avec l’agent de la CAF a été une humiliation » : les bénéficiaires du RSA dans l’enfer des contrôles

Au fil des ans, des progrès du big data et des croisements de fichiers, les Caisses d’allocations familiales et les départements intensifient leur chasse aux fraudeurs, parfois jusqu’à l’acharnement.

lemonde.fr Le Monde



Le conseiller Pôle emploi qui aidait les allocataires vient d’être licencié

Yann Gaudin, conseiller Pôle emploi à Rennes, vient d’être licencié. Connu pour avoir aidé des centaines d’usagers à récupérer leurs indemnités chômage, la direction de Pôle emploi lui reproche son insubordination et son comportement.

https://www.mediapart.fr/journal/france/160720/le-conseiller-pole-emploi-qui-aidait-les-allocataires-vient-d-etre-licencie
votre avatar
J'ai vu ça hier sur Mastodon (par la LQDN justement) et c'est à gerber. Les Femmes mères solo sont particulièrement ciblées au passage.
votre avatar
C'est clair que si on focalisait les contrôles sur ceux qui ne touchent rien de la CAF, ce serait beaucoup moins discriminatoire.
votre avatar
Ca doit surtout être parce qu'une fraude ultra simple et répandu étant pour un couple de "faire semblant" d'être séparé pour que la mère touche l'allocation femme seule pendant que le mari travaille et continuer de vivre dans le foyer (au black ou pas d'ailleurs).

Y'en a plein les journaux des contrôles de ce genre où "bizarrement" il y a semble-t-il 2 adultes qui vivent dans le logement mais c'est jamais le mari ou quelqu'un qui participe au ménage.

Il ne faut pas confondre sélectionner des critères POUR discriminer (faire la chasse aux pauvre) et sélectionner des critères qui sont ceux utilisés par les fraudeurs (pour faire la chasse aux fraudeurs.
On vous monte la tête pour quelque chose de complétement normal et vous tombez dans le panneau direct.

Ici on ne sucre pas les allocataires sur décision de l’algorithme (type ParcourSup ou ADP où tu as pour le coup des choses dégueulasses), on optimise juste des contrôles, si tout est en ordre personne ne perd ses allocations...
Ce serait effectivement plus intéressant de savoir si oui ou non l’algorithme améliore l'efficacité des contrôles ou pas, et si donc les critères retenus sont pertinents ou pas.
votre avatar
En tout cas, l'algorithme améliore le contrôle des mères célibataires et des personnes atteintes de handicap qui travaillent. On en est certain.
votre avatar
Bientôt comme dans le film "Minority Report" : il y a 99% de chances que vous frauderez 💸 on vous refuse votre allocation. 💰 (et on met en concurrence la CAF tellement cet organisme est une bureaucratie inefficace)
votre avatar
Ok, donc la QDN a découvert que 100% des fraudeurs de la CAF sont dans les bénéficiaires et pas dans ceux qui ne touchent rien. C'est en effet scandaleux.
votre avatar
C'est clair, rien que le fait qu'ils traitent leurs bénéficiaires est dsicriminatoire
votre avatar
Je pense qu’ils ont fait tourner un modèle de classification sur des données historiques, et que les variables ayant le plus d’influence sur la classe (a fraudé / n’a pas fraudé) sont celles citées dans l’article (et qui peuvent se comprendre assez facilement dans le cadre d’une fraude aux allocations).

Et puisque le but est de limiter la fraude avec un nombre restreint de contrôles, alors je vois pas vraiment ce qu’y a de choquant à utiliser ces variables pour guider les contrôles.

De la même façon que pour la fraude à l’IR, je m’attends à ce que les contrôles soient plus courants chez les personnes qui gagnent bien leur vie…

Bref…circulez y’a rien à voir.
votre avatar
Oui mais je sors la carte "biais systémique patriarcal" !

On a construit le modèle de classification à partir de ceux qui avaient fraudés. Mais on sait qu'ils avaient fraudé car on les avait contrôlé. Et ont les avait contrôlé parce qu'on se méfiait d'eux. Ah ah ah (rire patriarcal).
votre avatar
je comprends toujours pas l'offuscation dans les commentaires précédent .Ah ah ah (rire patriarcal)(sic).
votre avatar
Non, on a construit le modèle de classification à partir des gens qu'on a contrôlés. Parmi les gens dont on se méfiait, il y en a dont on se méfiait à tort à cause du biais systémique patriarcal. Quand ils ont été contrôlés, ils étaient en règle, ce qui a ainsi permis d'affiner les règles, le biais a été identifié comme irrationnel et les gens dans la même situation ne sont plus systématiquement considérés comme suspects.
votre avatar
Mon commentaire se voulait sarcastique.

Il se moquait de la justification morale (fruit de l'arbre empoisonné) qu'on voit fleurir généralement dans ce genre de cas.

Mathématiquement le modèle est valide tant que la segmentation de l'échantillon est correcte. Certes le modèle ne sera pas optimal en terme de spéci/sensi sur l'ensemble de la population si l'échantillon était biaisé, mais il n'en reste pas moins valide.

Le code source de la CAF révèle une catégorisation discriminatoire des allocataires

Fermer