« On attend l’interdiction de l’algorithme de la CAF, et par jurisprudence, l’interdiction des algorithmes similaires utilisés par France Travail, par l’assurance maladie, par l’assurance vieillesse, etc », indique Valérie, responsable numérique au sein de l’association Changer de Cap, interrogée par Next.

Avec 14 autres organisations, Changer de Cap conteste devant le Conseil d'État la décision de la CNAF d’utiliser un algorithme de détection de paiement d’indus pour orienter ses actions de lutte contre la fraude. Principaux arguments : le système n’est pas construit pour le but pour lequel il est employé, il est construit de telle manière que son usage conduit à des discriminations, et il opère un traitement de données disproportionné par rapport à son objectif, contrairement à ce que requiert le règlement général sur la protection des données (RGPD).

« Plus largement, ce contentieux s’insère dans une demande de revoir en profondeur la manière d’envisager le contrôle dans les instances sociales », détaille Bastien Le Querrec. Pour le juriste de la Quadrature du Net (LQDN), l’usage de ce type de système technique « découle d’une politique de mise sous pression des personnes les plus précaires, à qui l’on impose des complexités déclaratives très fortes ».

Dans un tel contexte, développe-t-il, si on déploie un algorithme de recherche de paiement d’indus, c’est-à-dire de recherche d’erreurs, « forcément, on en trouvera ».

• Transparence, discriminations : les questions soulevées par l’algorithme de la CAF

Contestation au long cours

Parmi les organisations impliquées dans le recours, on compte des spécialistes des droits des plus précaires – Droits des Jeunes et d’Accompagnement vers la majorité (AADJAM), Mouvement national des chômeurs et précaires (MNCP), Groupe d’information et de soutien des immigré•es (Gisti) –, des défenseurs des droits humains – Amnesty International France, Ligue des droits de l’hommes (LDH), Collectif National Droits de l’homme Romeurope –, des experts du numérique -le Mouton numérique –, ou des juristes, par la voix du Syndicat des avocats de France.

Mais de l’avis de Valérie comme de Bastien Le Querrec, l’action actuelle n’est que la suite logique d’un combat entamé depuis plusieurs années. Comme nous le rapportions dans un précédent article, à partir de 2021, de nombreuses associations constatent une augmentation des difficultés des allocataires bénéficiant du Revenu de solidarité active (RSA), de l’Allocation adulte handicapée (AAH), ou d’autres prestations. Certains voient leurs aides recalculées sans explication claires, d’autres les voient suspendues et se retrouvent sans reste à vivre.

En 2022, de premières alertes publiques contre les discriminations induites par l’algorithme utilisé par la CAF affleurent. En 2023, la Quadrature du Net et les collectifs Stop contrôles et Changer de Cap obtiennent le code source de deux versions du système, déployé très tôt par la CNAF : le premier en 2010, le second en 2014.

L’administration refuse de communiquer le code du système actuel, mis en place à partir de 2018, mais les informations recueillies permettent déjà aux associations d’alerter sur le contrôle accru qui vise des personnes particulièrement vulnérables. Début 2024, une trentaine d’organisations en vient à écrire publiquement au Premier ministre d’alors, Gabriel Attal, pour qu'il demande à la Caisse nationale des allocations familiales (CNAF) de « renoncer à l’utilisation des algorithmes de notation donnant un score de risque », sans obtenir satisfaction.

Objectif inadéquat

Consulté par Next, le mémoire du recours au Conseil d'État ressemble donc à un condensé juridique d’arguments fourbis au fil des mois. Le premier d’entre eux porte sur l’objectif même du système utilisé. À plusieurs reprises, la CAF a décrit utiliser le système pour « détecter dans les dossiers des allocataires des comportements pouvant être constitutifs d’erreurs ainsi que les situations incohérentes qui peuvent générer un risque d’indu. »

De fait, rappellent les organisations, « la finalité de ce traitement algorithmique n’est pas de rechercher les cas de fraude », mais bien des « situations d’indus (…) indépendamment de toute volonté délictuelle ».

Sur le terrain, pourtant, les résultats obtenus se traduisent par des contrôles répétés et des suspensions d’aides non expliquées, en particulier parmi la frange la plus précaire de l’ensemble des allocataires. De même, nombreux sont les témoignages de demandes de remboursement de centaines, voire de milliers d’euros, demandes non justifiées par l’administration « alors que la loi le lui oblige », rappelle l’avocat Clément Terrasson.

Traitement disproportionné

Par ailleurs, le système de data mining déployé par l’administration sociale est construit de sorte à repérer des tendances dans de grandes masses de données relatives à tous les allocataires – soit 32,3 millions de personnes, dont 13,5 millions d’enfants, selon le rapport d’activité 2023 de la CAF. Pour les 15 organisations requérantes, un tel traitement massif est disproportionné au regard du RGPD.

Le règlement européen interdit aussi les traitements de données qui prennent des décisions automatisées. S’appuyant sur un arrêt rendu par la Cour de Justice de l’Union européenne (CJUE) en décembre 2023 selon lequel un algorithme de scoring allemand relevait bien de cet article 22, les organisations demandent au Conseil d'État de se prononcer sur la légalité de l’algorithme de la CNAF – ou de demander l'avis de la CJUE.

S’il fallait en arriver là, décrypte Bastien Le Querrec à Next, et que la CJUE tranchait de nouveau dans ce sens, « ce serait une victoire d’autant plus grande qu’elle aurait un impact pour toute l’Union européenne, et pas simplement sur la situation française ».

Discrimination indirecte

Autre grande ligne de l'argumentaire : les 15 organisations demandent au Conseil d'État de se prononcer sur les discriminations qui résultent de l’usage de l’algorithme de la CNAF – ou de transmettre l’affaire à la CJUE.

L’enjeu n’est pas neuf : les travaux menés en 2016 sur les données de la CAF par les sociologues Vincent Dubois, Morgane Paris et Pierre-Edouard Weill montraient déjà une augmentation nette du contrôle sur pièce de certaines catégories de personnes (étudiants, moins de trente ans, bénéficiaires de l’allocation de logement sociale, etc) entre la période précédant l’introduction du système de détection d’erreurs, en 2010, et celle qui lui a suivi.

De même, l’étude montrait une augmentation plus forte des contrôles sur place dans les familles monoparentales, chez les allocataires inactifs, ou encore chez les allocataires les plus pauvres que chez la moyenne des allocataires de la CAF.

À l’époque, les auteurs de l’étude alertaient sur le glissement possible, avec l’usage de telles technologies, de l’analyse de « situations à risques » vers celles de « populations à risques », évolution « qui conduit les allocataires les plus défavorisés à être les plus systématiquement contrôlés »… quand bien même la loi française reconnaît la « vulnérabilité résultant de la situation économique » comme un critère de discrimination contre lequel il est nécessaire de lutter.

Autre exemple avancé devant le Conseil d'État : pour les organisations requérantes, le fait que la machine provoque le sur-contrôle des familles monoparentales est « une discrimination en raison de la situation de famille et [du] sexe » dans la mesure « où l’écrasante majorité (95 %) des familles monoparentales allocataires sont constituées d’une mère seule » (dans la population globale 81 % des familles monoparentales comportent une mère seule).

Dans une autre étude publiée en 2020, le sociologue Vincent Dubois, par ailleurs auteur de l’ouvrage Contrôler les assistés (Raisons d’agir, 2021), démontrait pourtant que contrôler d’autres types de populations – et notamment les actifs et les couples avec enfants – aurait plus de chance de mener à de la détection d’indus que de cibler les inactifs ou les mères isolées.

Lutter contre le sur-contrôle des populations précaires

Les discriminations directes – le fait que le score de risque augmente en fonction du handicap (détecté par le fait de percevoir l’AAH) ou de la précarité économique (détectée par le fait de percevoir le RSA) — ne sont évoquées qu’à titre subsidiaire par les requérants.

« Pour nous, ce qui est important, ce n’est pas de corriger ces algorithmes, explique Bastien Le Querrec. C’est plutôt de montrer que quelle que soit la manière dont ils sont conçus, à partir du moment où ils le sont pour construire des indus, ils iront là où c’est le plus simple de trouver de l’argent. »

Or, plus les cas de demandes d’allocations sont complexes, plus les risques d’erreur sont élevés. Et le simple fait de bénéficier du RSA se traduit par une situation complexe, rappelle Vincent Dubois, dans la mesure où il est demandé à la personne de remplir « presque deux fois plus de questions » que pour les aides au logement, et de déclarer chaque trimestre, là où la plupart des prestations familiales ou liées à l’enfance ne demandent qu’une déclaration annuelle.

De cette logique découlent l’ambition des différentes organisations impliquées « d’ouvrir le débat sur le traitement automatisé des administrations et de demander plus de transparence sur ces systèmes », dans toutes les administrations dans lesquelles ils sont utilisés, explique Valérie. Car si la CAF a été « précurseure dans le domaine, l’usage de ce type d’outil fait partie d’un mouvement d’ensemble dans l’administration publique », ajoute Alex, chargé de projets numérisation de l’état social à La Quadrature du Net.

De fait, la Caisse centrale de la mutualité sociale agricole (CCMSA) indiquait dans son rapport annuel de 2020 travailler au déploiement de techniques de data mining pour lutter contre la fraude, comme l'Assurance retraite, un an plus tard. En 2024, l'Assurance Maladie se félicitait d'avoir « détecté et stoppé des fraudes et activités fautives à hauteur de 315,8 millions d’euros (+ 30% par rapport à 2021) en 2022, soit le plus haut niveau jamais atteint » jusque-là (la même année, l'entité s'était fixée un objectif de « 500 millions d'euros par an d'ici 2024 »)

Et Alex de déplorer : « l’utilisation de ces outils déresponsabilise les administrations, qui considèrent que les éventuels problèmes viennent de la machine, alors qu’humainement, les effets sont désastreux » sur les allocataires.