Transparence, discriminations : les questions soulevées par l’algorithme de la CAF

La Quadrature du Net publie le code source des modèles algorithmiques utilisés par la CAF. Retour sur les débats soulevés par l’utilisation de ces systèmes.

Après plusieurs mois de bataille, les associations et collectifs la Quadrature du Net, Stop Contrôles et Changer de Cap ont obtenu le code source de deux modèles algorithmiques utilisés par les Caisses d’Allocations Familiale (CAF) entre 2010 et 2018. La Quadrature l'a rendu public.

Les associations dénoncent l’usage de tels modèles, qui traitent les données de près de la moitié de la population française pour assigner ensuite aux bénéficiaires d’aides sociales ce que la Quadrature qualifie de « score de suspicion ».

Le but, pour la Caisse Nationale d’allocation familiale (CNAF) : estimer quel allocataire est susceptible de frauder, et effectuer les contrôles qui permettent d’éviter les paiements indus.

En pratique, le système assigne à chaque allocataire un score variant de 0 à 1. Lorsque celui-ci dépasse un certain seuil, en se rapprochant du 1, il déclenche une procédure de contrôle. Or, les associations constatent que certains éléments sont plus susceptibles que d’autres de faire grimper le score de risque.

Parmi eux, des variables comme le fait d’être au chômage, au RSA, ou le quartier d’habitation (s’il est « défavorisé ») sont plus susceptibles que d’autres de faire grimper le score. Le fait d’être un parent isolé – ce qui, dans 80 % des cas, concerne des femmes – joue aussi dans le risque d’être suspecté de fraude. Enfin, l’un des éléments susceptibles de faire grimper le plus fortement le score est le fait de bénéficier de l’Allocation Adulte Handicapé (AAH) alors que la personne exerce un emploi.

Auprès de Next, Valérie, la responsable du pôle numérique de Changer de Cap, explique que l’analyse du système permet de confirmer ce contre quoi son collectif alerte depuis plusieurs années : « Le système provoque un sur-contrôle de certaines catégories de la population. » Avec les autres associations, Changer de Cap critique, aussi, « la manière dont la CNAF présente l’outil, quand elle déclare qu’il ne sert qu’à vérifier le "bon droit", que son système est un outil objectif ».

Début 2023, la CNAF a en effet soumis une lettre de douze pages dans laquelle elle répondait à diverses revendications de Changer de Cap. Elle y déclarait, entre autres, que son modèle algorithme permettrait d’assurer une « plus grande objectivité dans les contrôles », ce que l’association avait, à son tour, réfuté.

Auprès de l’AFP, le directeur de la CNAF Nicolas Grivel indique que le système en question n’est « pas discriminatoire » et ne cible « pas forcément les personnes les plus pauvres, mais celles dont les revenus varient ».

• Les Allocations familiales nous ouvrent le code source de leur calculateur d’aides
• Les Français veulent des explications claires sur les modèles algorithmiques

Sur le terrain, des situations de vie difficile

« Un jour, ma Caisse régionale d’assurance maladie m’envoie un courrier pour vérifier si je touche l’Allocation supplémentaire d’invalidité (ASI) ». Engagée dans diverses associations, handicapée depuis quelques années, Sonia explique à Next toucher plusieurs aides de la CAF : le revenu de solidarité active (RSA), l’Allocation Adulte Handicapée (AAH) et l’ASI.

« C’est à partir de cette demande que ça a créé le bazar. Ils ont fait des retenues sur mon AAH avant l’expiration du délai légal pendant lequel j’aurai pu contester, j’ai demandé des explications, celles que j’ai reçues ne permettent absolument pas de comprendre leur méthode de calcul… » Une procédure judiciaire est toujours en cours.

En 2021, Changer de Cap recueille un nombre croissant d’histoires similaires à celle de Sonia. L’association décide de lancer un appel à témoignages, pour « comprendre » si les problèmes de contrôles, de suspensions ou des re-calculs de droits non ou peu expliqués « ne constituaient que des problèmes particuliers ou un sujet plus large », raconte Valérie.

L’association voit affluer les récits de personnes en difficultés. Ici, une femme déclare s’être vue prélever 1000 euros par la CAF au titre d’un trop-perçu pour l’année passée. Une fois son loyer prélevé, elle se retrouve avec un découvert de 1 300 euros et aucun reste à vivre. Elle craint de se retrouver à la rue.

Ailleurs, c’est un homme qui ne savait pas qu’il aurait du déclarer l’aide ponctuelle de ses parents. Il découvre que la CAF considère son oubli comme de la fraude, quand bien même le conseil du département où il vit l’a considéré de bonne foi. Contrairement à ce que laissait espérer un rapport du Défenseur des droits publié en 2019, cette dernière affaire ne laisse pas présager du respect du droit à l’erreur.

Des populations plus ciblées que d’autre

Les témoignages sont multiples, variés, mais beaucoup trahissent la charge supplémentaire que les décisions automatisées font peser sur les bénéficiaires.

Il existe plusieurs types de contrôles à la CAF : ceux, automatisés, qui consistent à vérifier des documents par interconnexion des fichiers administratifs, ceux qui consistent à demander des pièces supplémentaires à l’allocataire, et ceux réalisés sur place.

Ces derniers sont les plus susceptibles d’être provoqués par une détection algorithmique, selon les travaux du sociologue Vincent Dubois, auteur de Contrôler les assistés, Genèses et usages d’un mot d’ordre. Or « il faut bien comprendre qu’un contrôle, c’est extrêmement stressant », insiste Valérie.

Pour tenter d’objectiver qui risque le plus d’être contrôlé, La Quadrature a testé la probabilité que différents profils-types de foyers soient ou non qualifiés de « suspects » par la machine. Et de constater que le simple fait d’être un foyer composé d’un parent isolé touchant le SMIC, ou d’être un couple dont les deux membres touchent le RSA fait grimper le score de suspicion.

L’association ne nie pas les corrélations qui peuvent exister entre certains facteurs socio-économiques - par exemple que le fait d’être au chômage soit plus souvent lié à celui d’avoir de faibles revenus ou de bénéficier des minimas sociaux. Ce qu’elle dénonce, c’est la manière dont la machine « désavantage structurellement les personnes en situation de précarité ».

En effet, illustre-t-elle, une famille « aisée » aux revenus stables qui vivrait un événement extérieur susceptible d’impacter ses revenus, comme un déménagement, une séparation ou un décès, ne verrait son score de « suspicion » que très peu varier. Un foyer précaire touché par le même type d’événement, en revanche, aurait toutes les chances de voir ce score basculer au dessus du seuil de déclenchement de contrôle, précisément parce que les facteurs socio-économiques pèsent lourd dès le début du calcul.

Un « contrôle des assistés » ?

Derrière le système de notation des CAF, Changer de Cap, la Quadrature et Stop Contrôles critiquent l’esprit même du déploiement du modèle algorithmique. Les associations interrogent notamment le bien-fondé du déploiement d’un tel système algorithmique au regard du montant des fraudes.

En 2021, un rapport de la Cour des Comptes estimait en effet leur montant à 309 millions d’euros, soit 0,39 % de l’ensemble des prestations versées. À partir d’un échantillon de 6 000 dossiers, la CNAF conteste ce chiffre, estimant de son côté que les indus grimpent à 2,8 milliards d’euros.

À titre de comparaison, France Info rappelle néanmoins que le montant de la fraude aux cotisations sociales des employeurs s’élève quelque part entre 7 et 25 milliards d’euros, tandis que la fraude fiscale est estimée autour des 80 milliards d’euros. « On est vraiment dans l'idée d'un contrôle des assistés, c’est ce qu’écrit Vincent Dubois », estime Valérie.

• • Le datamining, cache-misère contre la fraude fiscale

Auprès de France Info, le sociologue précise que « la CNAF a été le laboratoire (…) du datamining au sein des administrations françaises ». Mais celle-ci réfute les accusations de discrimination. Publiquement, par exemple dans ce communiqué de janvier 2022, elle répète qu’elle utilise un « procédé de data mining » pour vérifier « le paiement au bon droit » des prestations sociales.

Elle indique qu’ « outre le (sic) détection d’indus, cela englobe aussi la lutte contre le non-recours et l’accès aux droits ». Elle explique par ailleurs que le modèle « est un outil d’aide à la décision. Il ne permet en aucun cas de prendre une décision automatisée ».

Le processus de traitement a été soumis à une délibération de la CNIL, en 2010, « mais il a évolué trois ou quatre fois depuis et il n’y a pas eu de nouvel avis », regrette Valérie. Quant au Défenseur des droits, Jacques Toubon puis Claire Hédon suivent depuis plusieurs années la question de la lutte contre la fraude aux aides sociales.

En 2017, déjà, il alertait sur les effets du durcissement de ces politiques sur les droits des bénéficiaires. Et demandait notamment à la CNAF de « mettre fin au contrôle ciblé des populations nées hors Union européenne ».

Des problématiques proches ailleurs en Europe

Si les associations s’inquiètent des dérives de ce type de systèmes, c’est non seulement parce qu’elles reçoivent des témoignages au sujet des difficultés que ceux-ci créent sur le terrain, mais, aussi, parce que d’autres modèles d'algorithmes défectueux ont créé des troubles, ailleurs en Europe.

Parmi ces affaires, le cas néerlandais a défrayé la chronique et engendré la démission du gouvernement, en 2021. Pendant six ans, certaines catégories des bénéficiaires d’aides sociales, en particulier des personnes immigrées, avaient été ciblées par des sur-contrôles.

Ces opérations automatiques s’étaient traduites par l’obligation de rembourser des sommes indues, donc une pression financière injustifiée. Dans les pires cas, celle-ci a été jusqu’à provoquer le placement d’enfants dans des familles d’accueil.

• • En Espagne, des algorithmes défectueux régissent la gestion des arrêts maladie

• • L’agence européenne des droits fondamentaux met en garde contre les biais algorithmiques

Quelques années plus tôt, ce sont les effets de l’algorithme de classification des personnes sans emploi en Pologne qui avaient été épinglés par diverses organisations de défense des droits humains et numériques.