Dans un an, nullité des décisions administratives en cas de silence sur les algorithmes utilisés
Si tu reviens, j'annule tout
Le 01 juillet 2019 à 12h47
6 min
Droit
Droit
À compter du 1er juillet 2020, soit dans un an jour pour jour, les décisions administratives prises sur le seul fondement d’un algorithme seront frappées de nullité, dès lors qu’elles ne contiendront pas de « mention explicite » relative à la transparence des algorithmes publics.
« À quoi cela sert-il de créer ou de déclarer des droits si le citoyen n'en est pas informé et si, finalement, ces droits restent lettre morte ? » avait tonné la sénatrice Sophie Joissains, l’année dernière, lors des débats sur le projet de loi relatif aux données personnelles.
Et pour cause : depuis le 1er septembre 2017, en application de la loi pour une République numérique, toutes les décisions administratives prises « sur le fondement d'un traitement algorithmique » doivent être accompagnées d’une « mention explicite » informant l’usager qu’un programme informatique est venu s’immiscer dans la gestion de son dossier.
Taxe d’habitation, allocations familiales, bourses scolaires, impôts sur le revenu, affectation de fonctionnaires, demandes de places en crèche, etc. En théorie, chacune de ces décisions individuelles devrait se conclure par quelques lignes, informant surtout le citoyen que l’administration a différentes obligations de transparence à respecter dès lors qu’elle recourt à des algorithmes.
Des obligations de transparence qui restent largement ignorées
Les citoyens sont effectivement en droit de demander à connaître les « règles » et « principales caractéristiques » de mise en œuvre du traitement algorithmique utilisé à leur encontre. L’administration doit alors leur fournir, « sous une forme intelligible et sous réserve de ne pas porter atteinte à des secrets protégés par la loi » (de type secret défense), les informations suivantes :
- Le « degré et le mode de contribution » du traitement algorithmique à la prise de décision
- Les données traitées et leurs sources
- Les « paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé »
- Les opérations effectuées par le traitement
L’objectif de ces dispositions ? Permettre au grand public de mieux comprendre comment l’algorithme en est arrivé à tel résultat à leur encontre. Les codes sources étant en effet d’ores et déjà considérés comme des documents administratifs « communicables » au citoyen, sur demande, le législateur a souhaité que les administrations explicitent en quelque sorte ces lignes de code.
Dans l’étude d’impact annexée au projet de loi Numérique, le gouvernement de Manuel Valls expliquait que cette réforme permettrait par exemple d’y voir plus clair sur le fonctionnement d’Admission Post-Bac, le prédécesseur de Parcoursup : « Le recours à ce logiciel, reposant sur des traitements algorithmiques, peut susciter des interrogations sur les mécaniques et les règles de fonctionnement qui conduisent à un résultat décisif pour l’avenir des étudiants : comment ce système est-il paramétré ? Quelle est la part de tirage au sort dans la procédure d’affectation pour les filières les plus demandées ? Comment s’assurer qu’il n’est pas possible de « tricher » avec le système ? »
Seul hic : difficile de trouver aujourd’hui la moindre « mention explicite » dans les millions de décisions adressées par les impôts, les Allocations familiales ou même Pôle emploi. Une situation sur laquelle les institutions concernées refusent curieusement de s’exprimer...
À notre connaissance, seule l’Éducation nationale intègre à ce jour une « mention explicite » relative aux traitements algorithmiques qu’elle déploie pour le système d’affectation des lycéens Affelnet (visiblement avec quelques difficultés, comme l'illustre le tweet ci-dessous...).
On dirait que quelqu'un a oublié de remplacer $nom dans les petits caractères ("auprès de" ..). Et bonus spécial qui plaira à @reesmarc @Xberne @nextinpact, la mention CADA. pic.twitter.com/E6fIbn6JM3
— Pierre Beyssac (@pbeyssac) 28 juin 2019
Une nullité « par défaut » à partir du 1er juillet 2020
L’année dernière, lors des débats sur le projet de loi relatif aux données personnelles, la rapporteure Sophie Joissains avait ainsi fait adopter un amendement prévoyant qu’en l’absence de « mention explicite », les décisions concernées soient systématiquement considérées comme nulles !
Estimant qu’il était « tout à fait disproportionné » d’aller aussi loin, le gouvernement avait toutefois réussi à rectifier partiellement le tir, à l’Assemblée nationale. D’une part, en reportant l’entrée en vigueur de cet amendement au 1er juillet 2020 (ce qui ne manque pas de piquant étant donné que l’obligation portée par la loi Lemaire est théoriquement en vigueur depuis septembre 2017). D’autre part, en limitant cette nullité automatique aux décisions 100 % automatisées.
Autrement dit, les décisions dans lesquelles il reste une intervention humaine ne seront pas concernées par cette réforme. Or il reste bien difficile de savoir à l’heure actuelle quels sont les algorithmes utilisés par les administrations, et surtout quel est leur degré d’immixtion dans la prise de décision – objet même des obligations de transparence introduites en 2017...
Au travers d’un guide dédié aux algorithmes publics, la mission Etalab indique aux acteurs publics qu’elle se tient à leur disposition pour « recenser les algorithmes potentiellement concernés par l’obligation de transparence et de redevabilité ». L’institution ajoute que « d’autres contenus seront prochainement publiés pour compléter ce guide, notamment des fiches pratiques sur une méthodologie d’identification des algorithmes ainsi que des exemples de mention et d’information détaillée ».
Dernière précision : cette nullité automatique ne prévaudra qu’en l’absence de « mention explicite ». Le fait de ne pas répondre aux demandes d’explicitation des citoyens n’est en ce sens passible d’aucune sanction.
Des décisions d'ores et déjà annulables
En attendant le 1er juillet 2020, rappelons que le Conseil constitutionnel a invité le juge administratif à annuler toute décision administrative 100 % automatisée et dépourvue de « mention explicite » (voir notre article).
Les « Sages » sont même allés plus loin en jugeant, en se penchant sur le fameux projet de loi relatif aux données personnelles, que « le seul recours à un algorithme » obligeait l’administration à dévoiler les « principales caractéristiques de mise en œuvre de ce dernier », sur demande. Si la protection d’un secret (données personnelles, secret défense...) fait juridiquement obstacle à la transparence, alors « aucune décision individuelle ne peut être prise sur le fondement exclusif de cet algorithme », a ajouté le juge.
Dans un an, nullité des décisions administratives en cas de silence sur les algorithmes utilisés
-
Des obligations de transparence qui restent largement ignorées
-
Une nullité « par défaut » à partir du 1er juillet 2020
-
Des décisions d'ores et déjà annulables
Commentaires (19)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 01/07/2019 à 20h15
Le 01/07/2019 à 23h22
Ce genre de reponses demago generalistes ca me gonfle.
Dire qu’une probleme n’existe pas est exactement la meme chose que dire qu’un probleme existe dans 100% des cas, c’est de la demagogie. La realite est beaucoup plus nuance, mais c’est sur que dans une reponse faites en 2 minutes sur internet c’est difficile de faire l’effort d’une approche honnete et prenant en compte la variete des situations.
Le 02/07/2019 à 04h54
Le 02/07/2019 à 07h28
Comment cela sera possible en pratique ? A moins de code et de paramètres très simple en entrée.
Le 02/07/2019 à 08h34
Je vais être direct : ce commentaire est profondément débile.
Aujourd’hui les décideurs commencent tout juste vaguement à prendre conscience de la criticité de l’outil informatique (ils en ont l’intuition mais considèrent toujours que c’est un truc simple et donc “digne de dactylographeurs” pour forcer le trait, genre “il suffit de claquer des doigts les ordis font tout”)
Le 02/07/2019 à 09h16
Pour en revenir aux algo locaux de parcoursup, en deux mots il fait deux choses:
Le deuxième point est une réponse pratique à un vrai problème, les établissement ne notent pas pareil entre eux car ils s’adaptent à leur élève et heureusement. Oui, mais ca signifie aussi qu’avec ce système de poids des ‘bon’ de ‘bon’ établissement peuvent se retrouver avec un score plus élevé qu’un élève 20⁄20 partout d’un établissement ‘mauvais’. Et bien sur ce ‘score’ des établissement formateur est caché par les établissement recruteur, ce qui crée des barrières sociales ( demande à tante bidule qui est prof d’aller espionner pour toi … )
D’un point de vue individuel ( élève ), il faut pouvoir avoir accès a ces info, d’un point de vu établissement, l’accès à ces info contribuera à renforcer la ségrégation sociale entre établissement.
Pour moi ce genre problème ( qui a mon sens n’a pas de solution ) montre les limites de la sélection sur dossier et du contrôle continu. Si on évalue tous le temps, comme on doit standardiser cette évaluation pour la rendre équitable, on ne peut plus tolérer de s’adapter aux élèves ( et réciproquement adaptation entraîne inéquité ).
Sinon il sert encore à qqch le bac?
Ok je suis sans doute hors sujet, mais bon, c’est un commentaire quoi …
Le 02/07/2019 à 09h33
Alors une réponse en 2 temps :
“Contrairement à une idée reçue, les algorithmes peuvent aussi reproduire et amplifier les biais de l’esprit humain, notamment parce qu’ils s’appuient sur des décisions subjectives et ne font pas de choix par eux-mêmes.”
Donc oui excuse moi de trouver ca pertinent d’exiger comme dans le cas de parcours sup d’avoir le détail des algorithmes locaux, et dans n’importe quelle situation exiger la transparence sur les décisions. C’est un impératif démocratique
Bref, tout ca pour dire que non ca n’est pas une débilité d’exiger la transparence ! NXI c’est toujours engagé pour cela ( je crois que la CADA pleure à chaque fois en les voyant ). Et moi je suis raccord sur cette ligne, La transparence est une règle saine de démocratie.
Le 02/07/2019 à 09h38
j’espère que cela va s’appliquer aux nouvelles amendes de stationnement / nouveaux radars de la mort qui tue !
Le 02/07/2019 à 11h38
Tu sembles dire que le modèle républicain qui consiste à échelonner la notation à un niveau national est une chimère, car le niveau n’est pas égal au sein de la nation, car l’échelle de notation n’est pas égale au sein de la nation, car le niveau n’est pas égal au sein de la nation, car l’échelle de notation…
Comment dire… C’est le serpent qui s’mord la queue. Si on veut effacer les iniquités d’accès à l’apprentissage, à la formation et à l’emploi, il faut d’abord s’assurer que tous les établissements notent de la même façon.
Alors, oui, ça implique du coup de remettre en question l’élitisme de certains établissements, l’état de délabrement de certains établissements, et bien d’autres points de souffrance.
Le 02/07/2019 à 14h16
Oula, je ne suis pas aussi radical ( enfin j’espère ).
Simplement, je pointe la contradiction entre deux mission du système éducatif:
A partir de la si on poursuit une politique du tout contrôle continu, ben ça se fait au détriment de l’efficacité d’enseignement nécessairement.
La solution “républicaine” est très propre, on apprend chaqu’un dans son coin et un examen en fin de lycée évalue eu niveau national. On pourrait mettre plus d’examen nationaux si on voulait évaluer plus finement.
Mais ce qui se passe, c’est qu’un sélection plus arbitraire ( à mon sens ) s’opère en amont, sur dossier et algorithmes obscurs et le résultat de l’examen propre est devenu inutile.
Alors, pour reprendre la notion d’“élitisme républicain”, moi je le comprenais comme une élite de personnes évalués comme performantes (les élèves), pas comme groupes de gens évalués comme statistiquement performants (les promotions issues des établissements).
Et pour revenir à cette histoire de publication des évaluations statistiques des établissements (nan parce que c’est le sujet au fond), j’ai honnêtement peur que ca amplifie l’effet de spéculation sur l’établissement. Cette manière de pondérer les établissement est un mauvais indicateur, et il est moyennement dangereux tant qu’il est secret mais quand on le publie on crée une évaluation globale des élèves en fonction de leur parcour. Et cette évaluation est fondé sur rien par dessus le marché.
… Au fait je suis pour cette publication … et je prie pour que des gens intelligent règlent les problèmes qu’elle posera … vite s’il vous plait.
Le 06/07/2019 à 21h53
Ça serait plutôt de prendre d’autres à compétences potentiellement moindre pour atteindre un quota arbitraire.
Le 01/07/2019 à 12h54
Ca marche avec #Parcourssup ?( " /> )
Le 01/07/2019 à 13h12
Pas sûr, vu qu’il est notoire que Parcourssup est automatisé. En tous cas, il suffit que ça soit indiqué sur le portail (mais je ne peux pas confirmer si c’est le cas, à mon époque c’était le combo magique 3614 RAVEL et 3615 CANDIDUT " />)
Le 01/07/2019 à 13h32
Le code source du Parcoursup a été publié voilà plus d’un an, et ses concepteurs en ont expliqué le principe :https://www.sciencesetavenir.fr/high-tech/informatique/bac-2018-l-algorithme-de-…
Le 01/07/2019 à 14h25
je parle des algos “locaux” qui sont totalement arbitraires ( cf cet article d’un site éponyme https://www.nextinpact.com/news/107971-le-conseil-detat-soppose-a-communication-algorithmes-locaux-parcoursup.htm )
Le 01/07/2019 à 14h41
if ( $candidat == “ blanc ” ) { engage(); }
else { poubelle(); }
Le 01/07/2019 à 14h52
Le 01/07/2019 à 15h04
Ce genre de réponse d’égoïste de droite ca me gonfle. Faut arrêter un peu le délire du monde de oui-oui. Suffit de voir les rapports émis par
Le défenseur des droits ( cette infâme islamo gauchiste de Toubon ) : https://www.defenseurdesdroits.fr/sites/default/files/atoms/files/etudesresultats-acces_a_lemploi_et_discriminations_liees_aux_origines-20160919_0.pdf Et en 2019 ca ne s’améliore pas
Le point, ce vile repère de bobo qui reprend une enquête de SOS racisme : https://www.lepoint.fr/societe/logement-les-discriminations-raciales-prosperent-en-ile-de-france-07-05-2019-2311205_23.php
Et puis enfin une enquête de l’Agence Européenne des droits Fondamentaux : https://www.levif.be/actualite/europe/les-personnes-noires-trop-souvent-victimes-de-discrimination-raciale-dans-l-ue/article-normal-1060031.html?cookie_check=1561993205 ">
Mais sinon aucune raison de penser que ca n’arrivera pas avec des algorithmes locaux (Parcours Sup) qui sont cachés, non communicable hein de même que lors d’un entretien d’embauche .. #coucouNXI #teamCADA
Le 01/07/2019 à 17h28
(…) D’autre part, en limitant cette nullité automatique aux décisions 100 % automatisées.
Autrement dit, les décisions dans lesquelles il reste une intervention humaine ne seront pas concernées par cette réforme. (…)
Ouais mais… décisions 100% auto ou bien procédures 100% auto ?
parce que décision = ponctuel (par exemple décision à propos de l’impôt d’un seul contribuable)
et procédure = tout le monde (décisions pour les impôts de tout le monde)
? ? ?
Est-ce qu’on peut n’annuler que certaines décisions parmi toutes celles ayant suivi une même procédure (tantôt 100% auto, tantôt avec intervention humaine) sans que ce soit de la bonne grosse discrimination ? un peu comme du bon gros rouge qui pique et qui tâche ? " />
Et puis “intervention humaine”, c’est à mourir de rire puisque ce sont les contribuables, allocataires, étudiants, etc. (= humains) qui déclarent leurs revenus, leurs souhaits, etc. à l’algorithme qui ensuite décide de leur impôt, leur alloc, leur orientation… et c’est pareil pour toutes les “décisions”, hein…
" />