En Australie, la Commission royale a rendu 900 pages de rapport à la suite de l'enquête qu'elle a menée sur le système de robot-dette, qui avait demandé à plus de 440 000 personnes de rembourser des sommes indues aux services sociaux. Elle y étrille tant le gouvernement à l'origine du dispositif que la conception de ce dernier.

En Australie, un système automatisé de demandes de remboursement de suspicions de fraude aux aides sociales a été utilisé de 2015 à 2019. Depuis renommé système de « robot-dette » (robodebt scheme), la machine a demandé près de 2 milliards de dollars australiens de remboursements indus à plus de 440 000 bénéficiaires de prestations sociales, précipitant certains foyers dans des difficultés financières accrues, voire provoquant des suicides.

« Un mécanisme grossier et cruel, ni juste ni légal, qui a donné à de nombreuses personnes l'impression d'être des criminels », décrit la commission d’enquête royale, dans le rapport qu’elle a rendu le 7 juillet sur l’affaire (dans une monarchie comme celle du Commonwealth, la commission royale est la plus haute forme d’institution d’enquête qui existe, avec des pouvoirs quasi judiciaires).

Les 900 pages de travaux décortiquent les suites de décision qui ont mené à l’utilisation du système de robot-dette et formulent 57 recommandations. Celles-ci concernent autant la gestion des dépenses publiques que l’usage de systèmes automatisés d’aides à la décision (ADM ou ADMS, automated decision-making systems, catégorie relativement large de systèmes algorithmiques).

La rapporteure Catherine Holmes explique que l’ex-Premier ministre conservateur, Scott Morrison, en charge des services sociaux au moment du déploiement, n’a « pas assumé ses responsabilités ministérielles en veillant à ce que le cabinet soit correctement informé de ce que la proposition impliquait réellement et en s’assurant qu’elle était légale ». La commission d’enquête recommande qu’une série de personnes, dont les identités sont protégées, soient poursuivies pour leur responsabilité dans l’affaire, au civil comme au pénal.

Améliorer la gestion des aides sociales et la lutte contre la fraude

En 2015, le gouvernement australien adopte une mesure intitulée « Renforcer l’intégrité des prestations sociales », censée permettre d’économiser 1,7 milliard de dollars australiens sur cinq ans, replace le rapport.

Ces gains devaient être générés grâce à deux axes de travail. Le premier consistait en un suivi renforcé de la cohérence entre les déclarations de revenus des employés et les aides sociales effectivement reçues (Employment Income Matching Measure, qui consistait à comparer les déclarations aux impôts et les données des services sociaux). Sachant que des écarts de données entre les deux services ne signifiait pas nécessairement qu’il y avait eu paiement trop élevé de la part de l’institution, l’« initiative allait provoquer la création du système de robot-dette », indique le rapport.

L’existence de cet outil était très souvent liée à l’autre pan d’action, reposant sur le travail des officiers de police et plus directement dédié à la lutte contre la fraude aux aides sociales (la commission pointe que le gouvernement de l’époque a largement exagéré le montant des fraudes, calculant qu’en réalité, ces dernières représentaient moins de 0,1 % des cas).

En pratique, si une personne ne fournissait pas d’explications aux éventuels écarts constatés entre les chiffres des services sociaux et ceux du service des impôts, la machine calculait une moyenne des revenus obtenus sur la période consultée (par exemple six mois). En substance, si un Australien avait travaillé de janvier à mars puis demandé des aides sociales – auxquels il ou elle aurait eu droit – faute de travail d’avril à juin, la machine s’est brusquement mise à lisser les revenus sur l’intégralité de la période, sans prendre en compte la réalité des conditions vécues.

Si la somme dépassait les paliers à partir desquels une personne était censée pouvoir prétendre à des aides, elle envoyait automatiquement des demandes de remboursement de dette. À partir de là, différents processus étaient lancés : si la personne recevait encore des aides sociales, la somme estimée due était déduite des paiements futurs. Si elle n’en recevait plus, les services sociaux lui demandaient un remboursement. Si le débiteur supposé ne répondait pas, l’institution lui envoyait des agents de recouvrement.

Automatisation et réduction du travail humain

Une série de présupposés et d’étapes de ce fonctionnement n’avaient rien de neuf. Le rapport de la Commission royale détaille néanmoins que les principales évolutions ont consisté à :

• Prendre les données recueillies par l’État pour argent comptant, sans attendre de validation des employeurs ou des bénéficiaires eux-mêmes.
• Déplacer la charge de la preuve de l’institution vers le bénéficiaire, leur demandant de vérifier ou contredire les informations calculées par le système automatisé (sur des périodes de travail qui pouvaient ne pas correspondre à la réalité). En cas de dette, les bénéficiaires se retrouvaient par ailleurs contraints à payer une amende de 10 % de la somme.
• La méthode de la « moyennisation » évoquée plus haut, calculée à partir de périodes de paiement de deux semaines, comme cela a cours en Australie, était jusque-là utilisée dans des cas bien spécifiques. Avec le système de robot-dette, c’est devenu automatique, en contradiction avec le but du système d’aides sociales tel qu’inscrit dans les textes australiens. Celui-ci consiste normalement à aider les gens précisément dans les périodes où ils en ont besoin, pointe le rapport.
• Toujours dans une logique d’économie, une grande part du travail de vérification, jusque-là réalisé par des agents humains, a été automatisée dans le système de robot-dette.
• Enfin, le rapport souligne que les précédents systèmes de vérification de cohérence des données et de révision des dossiers des bénéficiaires considéraient au maximum la situation d’une personne sur une année. Dans le cas du système de robot-dette, les calculs ont pu remonter, dans certains cas, sur les cinq années précédentes.

Défaillances technico-politiques aux conséquences tragiques

La situation rappelle une affaire similaire, aux Pays-Bas, qui avait mené à la démission du gouvernement en place en 2021. À l’époque, des observateurs constataient qu’une partie des dysfonctionnements techniques étaient dus à une lecture extrêmement stricte de la loi au moment de la conception de l’outil de lutte contre la fraude, ce qui aboutissait à des contrôles trop importants sur le coup et susceptibles de remonter sur un historique de paiement de cinq ans. La machine avait par ailleurs présenté un caractère raciste, dans la mesure où elle assignait systématiquement des scores de risque plus élevés aux personnes ayant plus d’une nationalité.

• En Espagne, des algorithmes défectueux régissent la gestion des arrêts maladie
• L'agence européenne des droits fondamentaux met en garde contre les biais algorithmiques

La somme de ces processus d’automatisation conduit à une forme de « déréalisation », d’abstraction des situations personnelles de la part d'institutions censées fournir des aides, détaillait le sociologue Vincent Dubois dans une enquête sur les effets de l’intelligence artificielle sur les plus précaires. En Australie, le système de robot-dette fournit une illustration tragique des effets de cette déréalisation. Chez les personnes concernées, l’envoi automatique et non vérifié de notifications de dettes a causé toute une série de difficultés financières, pesant sur les foyers, suscitant crises d’anxiété, voire tendances suicidaires chez les personnes visées.

Si la directrice du département en charge du déploiement du système de robot-dette l’a longuement nié, les suicides d'au moins trois personnes sont liés depuis plusieurs années à l’usage de ce système. Parmi elles, Rhys Cauzzo s’est donné la mort après avoir reçu une demande automatique de remboursement de 28 000 dollars australien, Jarrad Madgwick, dans les quelques heures qui ont suivi une demande de 2 000 dollars.

Scott Morrison, l’ex-Premier ministre conservateur dont le gouvernement avait brusquement mis fin à l’utilisation du système en 2019, après que la Cour Fédérale d’Australie l’avait jugé illégal, rejette les conclusions du rapport. Pas nécessairement étonnant, tant celles-ci critiquent la lenteur de réaction du ministre et de ses collègues, alors que les rapports d’associations, de médias et les commissions d’enquête s’accumulaient pour alerter sur les dysfonctionnements du système.

Surtout, la Commission y démontre pour la première fois que l’étendue du système de robot-dette n’est pas tant le résultat d’erreurs techniques et de lecture des textes juridiques, que celui d’un véritable dédain des avis et alertes signifiées par les juristes internes aux institutions australiennes. En 2020, attaqué par une class-action, l’État australien a accepté de rembourser 470 000 robot-dettes pour une somme de 720 millions de dollars australiens, pour éviter la traduction en justice. La somme a rapidement grimpé à 1,2 milliard de dollars australiens (soit près de 730 millions d'euros, ndlr).

Des recommandations sur l’usage de systèmes automatisés d’aide à la décision

Outre la lumière qu’il jette sur l’étendue du problème, le travail de la commission se clôt sur 57 recommandations, parmi lesquelles plusieurs directement liées à l’usage de systèmes d’automatisation de décision dans les politiques publiques.

L’entité enjoint par exemple à :

• mettre en place un organisme chargé de contrôler et d'auditer les processus de prise de décision automatisée au sein du gouvernement ;
• demander des conseils sur la légalité du partage des données entre les agences gouvernementales ;
• ajouter des informations indiquant que l’utilisation de systèmes de prise de décision automatisés sur les sites web des ministères, en expliquant en langage clair le fonctionnement du processus en question ;
• mettre à disposition des règles de gestion et des algorithmes pour en permettre l’examen indépendant par des experts ;
• mettre en œuvre d'outils de service à la clientèle en ligne pour faciliter l'interaction avec le gouvernement ;
• créer outils et politiques d'aides à la population en mettant l'accent sur les personnes que ces dispositifs doivent servir.