En France, la prise de décision individuelle entièrement automatisée a été interdite dans le domaine administratif par la loi du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés. En 2018, la loi relative à la protection des données personnelles ouvrait « plus largement la possibilité pour l’administration de recourir à des décisions automatisées ».

Six ans plus tard, la Défenseure des droits s’inquiète des effets du déploiement croissant de systèmes algorithmiques dans les services publics. Dans un rapport intitulé « Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? », l’autorité dresse un premier bilan des déploiements opérés au fil des ans.

Elle réaffirme le besoin d’intégrer des interventions humaines pour garantir que les décisions dites « partiellement automatisées » respectent les droits des usagers, ainsi que celui, pour les administrations publiques, d’œuvrer à l’information des usagers et à l’explication des systèmes employés.

En pratique, l’autorité demande que le droit à l’explication des décisions administratives entièrement ou partiellement automatisées soit consacré et que des sanctions pour non-respect des obligations de transparence, actuellement inexistantes dans le droit français, soient créées.

L’IA dans le service public ? Un sujet complexe à cartographier

Comme le souligne l’Observatoire des algorithmes publiques (ODAP) tout juste lancé par un groupe de spécialistes des sciences sociales, des politiques publiques, du droit et de l’ingénierie, les administrations françaises utilisent un nombre croissant de systèmes algorithmiques dont il est difficile de tracer le nombre, les buts précis, comme d’évaluer les effets.

Reprenant une cartographie produite par Etalab, le rapport de la Défenseure des droits note néanmoins que les systèmes utilisés peuvent être catégorisés en fonction de leurs usages. Selon les cas, ces systèmes servent donc à :

• l’attribution de droits et le calcul de montants selon des règles établies en amont
• l’appariement entre « offre » (de place de crèche, dans l’enseignement supérieur, de postes au sein de l’administration) et « demande » (de parents, d’étudiants, d’employés).
• la prédiction d’une situation ou d’un risque (de défaillance d’entreprise, de fraude)
• l’aide à la décision (simulations de coûts, aide au ciblage de la bonne entreprise…)

• L’IA au ministère de l’Économie et des Finances : utile, mais peut mieux faire, d’après la Cour des Comptes

Des décisions automatisées simplifiées, mais sensibles

Depuis 2018, donc, les administrations publiques ont le droit de recourir à des systèmes algorithmiques pour opérer deux types de décisions (différenciées comme telles en droit) : celles qui sont entièrement automatisées (comme le calcul de la somme à payer au titre de l’impôt sur le revenu) et celles qui ne le sont que partiellement.

Ceci n’est possible que sous réserve d'informer la personne concernée par la décision, de lui permettre d’accéder à une intervention humain en cas de recours, que l’organisme public qui utilise le système algorithmique en ait la maîtrise et que la décision automatisée ne le soit pas sur des données sensibles.

Pour autant, rappelle la Défenseure des droits, l’usage de ce type de technologies dans le service public est particulièrement sensible pour deux raisons. Elles sont quelquefois déployées pour appliquer des décisions normatives, issues de lois ou de décrets, d’une part. D’autre part, contrairement aux services déployés par des acteurs privés (pour lesquels il suffit théoriquement se tourner vers ceux d’autres fournisseurs), les usagers du service public n’ont d’autre choix que d’utiliser les outils que celui-ci met à leur disposition.

• Fraude, indus : quinze organisations attaquent l’algorithme de la CAF devant le Conseil d’État

Parcoursup, AFFELNET : des doutes sur le rôle humain effectif

En matière de décisions partiellement automatisées, de nombreuses institutions dont le Conseil d’État insistent depuis longtemps sur la nécessité d’inclure un réel travail humain ou, dans le sens contraire, d’éviter que l’intervention ne se réduise à appuyer sur un simple bouton « valider », donc à suivre quasiment à chaque fois la décision automatique.

À défaut, souligne le juriste Winston Maxwell, le risque est de transformer les humains impliqués dans les processus en question en « amortisseurs moraux », c'est-à-dire « en totems dont le rôle central deviendra de prendre la faute sur eux, même s’ils ne maîtrisent que partiellement le système ». Autrement dit : des variables utiles pour les entités qui souhaiteraient se dégager de leurs responsabilités.

Or, « dans les faits, le nombre massif des décisions contribue, dans certains cas, à s’interroger sur la réalité de l’intervention humaine dans des processus de prise de décisions administratives individuelles », indique le rapport de la Défenseure des droits. Et de prendre l’exemple des Commission d’examen des vœux (CEV) qui, dans le cadre de Parcoursup, peuvent utiliser des systèmes d’aide automatisée à la décision, mais sont néanmoins censés évaluer humainement tous les dossiers.

En 2018, pour la seule licence de droit, l’université Paris 1 avait reçu plus de 14 000 candidatures, Paris II plus de 13 000 et Paris Descartes près de 10 000, des sommes qui interrogent sur la faisabilité d’un contrôle humain. Par ailleurs, la Société informatique de France a elle-même admis (.pdf) le recours à « une procédure de classement automatisée des candidats ».

De même, dans le cas d’AFFELNET, la procédure d’affectation des élèves par le net, qui permet aux élèves de troisième de choisir leur affectation en seconde générale, technologique ou professionnelle, la décision ne devrait être que partiellement automatisée. La Défenseure des droits a cependant pu constater que la décision d’affectation d’un élève lui ayant soumis une réclamation avait été entièrement automatisée. « Le fait qu’un seul dossier a été porté à la connaissance du Défenseur des droits sur cette procédure ne doit pas conduire à considérer qu’il s’agit d’un cas isolé », indique le rapport.

Citant l’existence de biais documentés (d’ancrage, d’automatisation, qui conduit à faire confiance à la machine, du régime de responsabilité), autant que des auteurs critiques du numérique comme Jacques Ellul (Le Bluff technologique, 1988) ou Günther Anders (L’obsolescence de l’homme, 1956), la Défenseure des Droits en vient à interroger « la portée réelle de la distinction entre décisions partiellement automatisée d’une part et décisions entièrement automatisées d’autre part. » Une distinction d’autant plus importante qu’elle « repose sur un droit, celui de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé » qui, rappelle-t-elle, s’il dispose d’exceptions, devrait fonctionner comme principe.

Intervention humaine et applicabilité des résultats algorithmiques

Si la décision administrative individuelle prise à l’aide d’un système algorithmique est qualifiée de partiellement automatisée, l'autorité recommande donc d'édicter « des critères et des modes opératoires obligatoires (…) pour qualifier plus précisément "l’intervention humaine" », par exemple, en identifiant le moment et la forme de l’intervention pour ensuite mieux la définir.

S’il n’existe pas de critères de qualification de l’intervention humaine, le rapport enjoint à interroger l’« applicabilité directe » des résultats du système utilisé. L’applicabilité directe a lieu quand un résultat se suffit à lui-même, ne demande aucune interprétation, détail, évaluation, et ne peut laisser de marge d’appréciation. Questionner la réalité d’une telle applicabilité, c’est, déjà, préciser les effets de l’adoption d’un système algorithmique au sein d’un service public.

La transparence : un chantier à part entière

Si la loi Informatique et Libertés fait de l’information des usagers une condition de la validité des décisions entièrement ou semi-automatisées, la transparence effective des outils utilisés par l’administration demande à être vérifiée, pointe enfin la Défenseure des droits.

De nombreux textes – dont le plus récent, au niveau européen, est le règlement sur l’intelligence artificielle – consacrent un « droit à l’explication des décisions individuelles ». Le rapport de l’autorité souligne néanmoins que cette multiplication de textes – en France, ces droits sont encadrés à la fois par le cadre juridique relatif à la protection des données personnelles, contrôlé par la CNIL, et par celui relatif aux relations entre le public et l’administration, pour lequel la Cada est l’autorité référence – peut compliquer la transparence.

Pour résoudre le problème, la Défenseure des droits recommande la simplification des obligations de transparence pour améliorer l’information réelle des usagers, « sans conduire à un amoindrissement de [leurs] droits ». Elle demande aussi l’introduction de sanctions en cas de non-respect des obligations de transparence par les administrations. Elle enjoint aussi les administrations concernées à « procéder sans attendre aux publications obligatoires ».

Pour travailler plus précisément sur la question algorithmique, la Défenseure des droits appelle à « déterminer quels systèmes peuvent être utilisés par les services publics lorsqu’ils fondent une décision administrative individuelle partiellement automatisée », de manière à remplir les obligations de transparence fixées dans la loi. Elle enjoint, enfin, à la création d’un droit à « l’explication », en plus de celui à l’information, pour faciliter « la compréhension et le débat public » autour des enjeux algorithmiques, en s’appuyant sur les initiatives déjà existantes, notamment dans la société civile et le domaine de la recherche.