Conseil d'État : vers l'encadrement des algorithmes prédictifs en France ?

Conseil d’État : vers l’encadrement des algorithmes prédictifs en France ?

De l'IP Tracking aux conséquences juridiques

22

Conseil d'État : vers l'encadrement des algorithmes prédictifs en France ?

Outre la responsabilité des hébergeurs ou encore la neutralité du Net, la dernière étude du Conseil d'État sur le numérique s'est aussi penchée sur les algorithmes prédictifs. Cinq propositions sur ce sujet ont été dévoilées, dont une implique une intervention humaine pour toute décision qui induit des effets juridiques sur une personne.

Couvrant de très nombreux domaines, l'étude annuelle du Conseil d'État de plus de 400 pages sur « le numérique et les droits fondamentaux » s'est donc intéressée aux algorithmes prédictifs. L'institution explique que son objectif ici est de proposer « des principes généraux ayant vocation à régir la conception et la mise en œuvre des algorithmes, puis des recommandations concernant deux domaines d’utilisation particuliers, dans le commerce en ligne et dans les industries culturelles ».

 

Voici donc les cinq propositions :

  1. Pour assurer l’effectivité de l’interdiction de fonder une décision sur la seule mise en œuvre d’un traitement automatisé, confirmer que l’intervention humaine dans la décision doit être réelle et pas seulement formelle. Indiquer dans un instrument de droit souple les critères d’appréciation du caractère effectif de l’intervention humaine.
  2. Imposer aux auteurs de décisions s’appuyant sur la mise en œuvre d’algorithmes une obligation de transparence sur les données personnelles utilisées par l’algorithme et le raisonnement général suivi par celui-ci. Donner à la personne faisant l’objet de la décision la possibilité de faire valoir ses observations.
  3. Dans le cadre de l’article 44 de la loi du 6 janvier 1978 et dans le respect du secret industriel, développer le contrôle des algorithmes par l’observation de leurs résultats, notamment pour détecter des discriminations illicites, en renforçant à cette fin les moyens humains dont dispose la CNIL.
  4. Analyser les pratiques de différenciation des prix reposant sur l’utilisation des données personnelles, mesurer leur développement et déterminer celles qui devraient être qualifiées de pratiques commerciales illicites ou déloyales, et sanctionnées comme telles.
  5. Encourager la prise en compte de la diversité culturelle dans les algorithmes de recommandation utilisés par les sites internet diffusant des contenus audiovisuels ou musicaux.

L'importance de l'humain derrière l'algorithme

Le premier point se base sur l’article 10 de la loi du 6 janvier 1978, qui indique qu'aucune « décision produisant des effets juridiques à l'égard d'une personne ne peut être prise sur le seul fondement d'un traitement automatisé de données destiné à définir le profil de l'intéressé ou à évaluer certains aspects de sa personnalité. » Sans les mentionner, cet article vise donc les algorithmes.

 

Le Conseil d'État note qu'il faut donc « éviter que des systèmes présentés comme relevant de « l’aide à la décision » soient en réalité presque toujours suivis et commandent la décision, l’intervention humaine n’étant alors qu’apparente ». L’interprétation de l'article 10 pourrait de plus être précisée par la CNIL ou l'avis du G29, c'est-à-dire toutes les CNIL des pays de l'Union européenne, « en prévoyant que l’intervention humaine ne doit pas être que formelle ». Mais vérifier qu'une intervention humaine soit bien effective ne risque-t-il pas d'être trop complexe ?

 

La deuxième proposition vise à permettre aux personnes subissant un effet juridique, suite à une décision basée sur un algorithme, de se défendre. Afin de « bénéficier de garanties analogues à celles d’une procédure contradictoire », la victime doit donc pouvoir accéder à certaines données et explications. Mais là encore, un tel système peut-il être mis en place simplement ? Si un renforcement de la CNIL (proposition 3) ne pourra être que positif pour surveiller les algorithmes des différents sites et services en ligne, il faudra tout de même voir comment les deux premières propositions pourront être appliquées.

Vers des sanctions en cas d'abus d'IP Tracking ?

La quatrième proposition est elle aussi très intéressante. Le Conseil d'État s'intéresse en fait ici à « l'IP Tracking ». Le sujet revient régulièrement dans nos colonnes, notamment parce que plusieurs députées françaises, dont Françoise Castex et Dominique Orliac, ont ces dernières années pointé du doigt cette méthode qui modifie le prix des produits ou encore des billets de transport en fonction du comportement de l'internaute (s'il revient plusieurs fois, etc.). L'an passé, la CNIL a même ouvert une enquête sur ce sujet épineux.

 

 

Ici, le CE n'y va pas par quatre chemins et menace de sanctionner les sites et services abusant du système. Certes, le conseil ne milite pas pour une interdiction totale de la différenciation par les prix. Par contre, il convient à son goût de préciser les critères de distinction entre pratiques licites et illicites. La DGCCRF et le Conseil national de la consommation pourraient notamment plancher sur ce sujet. Un texte de loi pourrait même être appliqué afin de parfaitement décrire les formes de différenciation des prix qui pourraient être appliquées légalement, ce qui par conséquent précisera celles qui seront illégales. Le texte comportera alors « les sanctions administratives ou pénales dont elles feraient l’objet ».

La diversité culturelle pour les services audio et vidéo

Enfin, la cinquième proposition s'intéresse à un sujet du moment, à savoir les obligations des services Internet spécialisés dans l'audiovisuel. L'arrivée imminente de Netflix rentre précisément dans ce champ, et si le volet financier cristallise l'attention du secteur, le Conseil d'État, lui, s'intéresse ici à la diversité culturelle proposée par les services basés à l'étranger.

 

« La principale difficulté tient à la possibilité pour ces fournisseurs de diffuser leurs contenus en France tout en étant établis depuis d’autres pays à la réglementation moins exigeante ; un risque de concurrence par le moins-disant existe explique l'institution française. Afin de le combattre, une harmonisation renforcée au sein de l’Union européenne ou le passage du principe du pays d’origine à celui du pays de destination, comme le préconise la France, apparaissent souhaitables. »

 

Les règles en vigueur en France impliquent à tous les services audiovisuels de diffuser et mettre en avant un taux minimum d'œuvres françaises et européennes. Netflix, ou tout autre service équivalent basé à l'étranger, va-t-il se conformer à ces obligations et ne pas proposer uniquement du contenu américain ? La question peut se poser, surtout pour les sites de VoD au concept assez différent d'une télévision classique. Le Conseil d'État note d'ailleurs judicieusement que cette obligation de diversité culturelle « apparaît en revanche inadaptée dans son principe aux modes de diffusion sur internet. Si elle conserve tout son sens pour les programmes linéaires diffusés par les chaînes de radio et de télévision, elle ne peut exercer qu’une influence limitée sur les contenus effectivement choisis par l’internaute sur des sites de vidéo ou de musique en ligne. »

 

Dès lors que les algorithmes des services audio et vidéo se basent sur les habitudes et préférences des utilisateurs, il est effectivement difficile d'imposer des quotas. Le Conseil d'État propose alors d'imposer aux plateformes de modifier leurs algorithmes, « en favorisant la prise en compte des critères de promotion de la diversité culturelle. Les plateformes auraient le choix des moyens de cette prise en compte : elle pourrait passer par la bonification dans l’algorithme des œuvres françaises ou européennes, ou par la mise en place d’une fenêtre dédiée à ces œuvres dans le résultat des recommandations. »

 

Cette proposition est cependant loin d'être parfaite, l'institution avoue en effet qu'elle présente « un caractère intrusif dans l’exercice de la liberté de recommandation de ces sites ». La meilleure solution serait alors de travailler « avec les sites concernés sur des engagements volontaires en matière de soutien à la diversité culturelle ». Le conseil propose même que des engagements sur la prise en compte de la diversité culturelle dans les algorithmes de recommandation soient inscrits dans des conventions comme le préconise le CSA.

Commentaires (22)


Usine à gaz détectée.


Hem.. est-ce que le conseil d’état sait ce que signifie “algorithme”? La définition est très large, n’importe quel programme informatique contient des algorithmes qui vont effectuer des choix sans intervention humaine, c’est même la base de l’informatique…. le Conseil d’Etat voudrait lutter contre l’informatique?


Va falloir s’attaquer à la bourse alors !!! parce que ces algorithmes ont leur par de responsabilité…


Et pour le monde des marchés c’est pour quand?

Parce que c’est quand même eux les spécialistes de l’algo prédictif, et les répercussions de ces algos sont sans doute parmi les plus important (indirectement) dans notre vie de tout les jours..





Edit: arf de justesse.<img data-src=" />








Kremtak a écrit :



Hem.. est-ce que le conseil d’état sait ce que signifie “algorithme”? La définition est très large, n’importe quel programme informatique contient des algorithmes qui vont effectuer des choix sans intervention humaine, c’est même la base de l’informatique…. le Conseil d’Etat voudrait lutter contre l’informatique?







facepalm



Pour arriver à faire un raccourci pareil faut vraiment… non, je ne vois même pas comment on peut y arriver en fait.



Leynas.









phileg a écrit :



Va falloir s’attaquer à la bourse alors !!! parce que ces algorithmes ont leur par de responsabilité…





Les algorithmes, probablement pas. Ceux qui les développent, sans aucun doute <img data-src=" />



Pour le 5eme point, en fait ils ne veulent plus que les recommandations soient adaptés aux goûts des utilisateurs…. il faut que ces recommandations proposent des choses que les utilisateurs n’apprécient (à priori) pas…. vive le retour en arrière…



De toute façon ne vous inquiétez pas, on l’aura notre internet franco-français avec du bon contenu made in France…..




confirmer que l’intervention humaine dans la de´cision doit e^tre re´elle et pas seulement formelle





Un philipin payé 1 cent de l’heure pour cliquer sur le bouton next c’est une décision réelle ou pas ?




Le Conseil d’État propose alors d’imposer aux plateformes de modifier leurs algorithmes, « en favorisant la prise en compte des crite`res de promotion de la diversite´ culturelle. Les plateformes auraient le choix des moyens de cette prise en compte : elle pourrait passer par la bonification dans l’algorithme des œuvres franc¸aises





Si on n’est pas trop fan des production Française actuel, on fait comment? Même si on me payer , regarderez jamais plus belle la la vie, loft story et compagnie, etc… Pas fou. <img data-src=" />


D’un autre côté on peut se réjouir que l’Etat ait pris la mesure du problème et les mesures vont dans le bon sens bien que difficilement applicables.



De l’autre côté, une fois que le marché aura attaqué la question il ne restera de toute façon rien de substantiel de cette loi. Et quand bien même elle resterait un petit recours devant l’ISDS de CETA ou de TAFTA permettra de faire condamner l’état pour entrave au juste profit grâce à l’EU.








Leynas a écrit :



facepalm



Pour arriver à faire un raccourci pareil faut vraiment… non, je ne vois même pas comment on peut y arriver en fait.



Leynas.







Raccourci? Quel raccourci? Je dis simplement que je ne vois pas comment on peut légiférer de façon globale sur les “algorithmes prédictifs”, c’est un terme qui englobe beaucoup plus de choses que ce qui est visé politiquement. Ce sont les domaines d’application qui doivent être ciblés, pas les “algorithmes”, ça ne voudrait rien dire.









Kremtak a écrit :



Raccourci? Quel raccourci? Je dis simplement que je ne vois pas comment on peut légiférer de façon globale sur les “algorithmes prédictifs”, c’est un terme qui englobe beaucoup plus de choses que ce qui est visé politiquement. Ce sont les domaines d’application qui doivent être ciblés, pas les “algorithmes”, ça ne voudrait rien dire.







Tu fais un raccourci en exagérant complètement sur le fait que le Conseil d’État ne saurait pas ce qu’est un algorithme et voudrait lutter contre l’informatique. C’est complètement idiot, il s’agit d’encadrer les algorithmes en question, pas de lutter contre l’algorithmique. C’est comme si tu disais que le code de la route et les normes de fabrication de voitures étaient contre l’automobile.



Et si tu vois pas comment il est possible de légiférer sur la transparence concernant les données personnelles utilisées dans un tel algorithme, par exemple, je ne peux pas grand chose pour toi.



Leynas.



Ce qui me titille c’est le terme de lutte contre l’ip tracking ABUSIF

Abusif n’est pas quantitatif .. mais tres subjectif <img data-src=" />



par contre ca m’a bien fait rire l’exception culturelle francaise

jusqu’a ce que j’apprenne que “plus belle la vie” ou “sous le soleil” (je ne sais plus ..^^)

a reussi a se vendre hors de nos frontieres <img data-src=" />



malheureusement personne ne voit d’interets dans Josehpine Ange Gardien

ou Soeur Therese point Comme



<img data-src=" /><img data-src=" />








Kremtak a écrit :



Raccourci? Quel raccourci? Je dis simplement que je ne vois pas comment on peut légiférer de façon globale sur les “algorithmes prédictifs”, c’est un terme qui englobe beaucoup plus de choses que ce qui est visé politiquement. Ce sont les domaines d’application qui doivent être ciblés, pas les “algorithmes”, ça ne voudrait rien dire.





Il s’agit uniquement comme le dit la news des algorithmes concernés par ce point :

décision produisant des effets juridiques à l’égard d’une personne ne peut être prise sur le seul fondement d’un traitement automatisé de données destiné à définir le profil de l’intéressé ou à évaluer certains aspects de sa personnalité.





On est loin de lutter contre l’informatique en général comme tu le dis dans ton premier message.





L’institution explique que son objectif ici est de proposer « des principes généraux ayant vocation à régir la conception et la mise en œuvre des algorithmes, puis des recommandations concernant deux domaines d’utilisation particuliers, dans le commerce en ligne et dans les industries culturelles ».



Je ne comprend même pas le point de départ de la news !

Les algo predictifs dans le milieu de la culture, c’est quoi ? C’est le truc qui dit “vous avez aimé Dimu Borgir, vous aimerez peut être aussi Apocalyptica” ?

Si oui, c’est plutôt anodins à mes yeux. Quel est l’objectif réel caché derrière cette petzouille ?



Les 5 points me sont absolument incompréhensibles, je prend le premier :



Pour assurer l’effectivité de l’interdiction de fonder une décision sur la seule mise en œuvre d’un traitement automatise´, confirmer que l’intervention humaine dans la décision doit être réelle et pas seulement formelle. Indiquer dans un instrument de droit souple les critères d’appréciation du caractère effectif de l’intervention humaine.



une décision de qui ? du client, de l’algo ou du développeur ?

Une décision à propos de quoi d’ailleurs ?








Kremtak a écrit :



Hem.. est-ce que le conseil d’état sait ce que signifie “algorithme”? La définition est très large, n’importe quel programme informatique contient des algorithmes qui vont effectuer des choix sans intervention humaine, c’est même la base de l’informatique…. le Conseil d’Etat voudrait lutter contre l’informatique?





Bien vu !



C’est une façon de lutter contre le futur Skynet.

Après les droits des animaux, ceux des robots.



Leynas.









Kremtak a écrit :



Raccourci? Quel raccourci? Je dis simplement que je ne vois pas comment on peut légiférer de façon globale sur les “algorithmes prédictifs”, c’est un terme qui englobe beaucoup plus de choses que ce qui est visé politiquement. Ce sont les domaines d’application qui doivent être ciblés, pas les “algorithmes”, ça ne voudrait rien dire.







Barf, si on isole les “algo prédictifs produisant des effets juridiques pour une personne”, j’imagine qu’il n’y en a pas des masses… Pas plus choqué que ça de les voir s’attacher aux algo (prédictifs avec effets juridiques donc) plutôt qu’aux domaines applications.



L’algo qui parcourt de la donnée pour en extraire un résultat brut, ce n’est pas du prédictif…

L’algo qui parcourt de la donnée, s’appuie sur des modèles et vient poser des hypothèses pour extraire de la “connaissance”, lui, il est prédictif



Alors, l’algo qui parcourt de la donnée, s’appuie sur des modèles et vient poser des hypothèses pour extraire de la “connaissance” qui va produire de l’effet juridique pour une personne, ça ne doit pas courir les rues.









Abused a écrit :



par contre ca m’a bien fait rire l’exception culturelle francaise

jusqu’a ce que j’apprenne que “plus belle la vie” ou “sous le soleil” (je ne sais plus ..^^)

a reussi a se vendre hors de nos frontieres <img data-src=" />





sous le soleil (dixit France Info)







malock a écrit :



Alors, l’algo qui parcourt de la donnée, s’appuie sur des modèles et vient poser des hypothèses pour extraire de la “connaissance” qui va produire de l’effet juridique pour une personne, ça ne doit pas courir les rues.





quelqu’un aurait un exemple (même hypothétique) de ce genre de truc ? je visualise pas…









WereWindle a écrit :



sous le soleil (dixit France Info)





quelqu’un aurait un exemple (même hypothétique) de ce genre de truc ? je visualise pas…







Bizarrement ce type de définition correspond typiquement à tout les “radar machin” qu’on nous met sur les routes…









WereWindle a écrit :



quelqu’un aurait un exemple (même hypothétique) de ce genre de truc ? je visualise pas…





Ouverture de crédit dans les banques. On prend toutes les informations, on les passe a la moulinette et on les compare à un modèle pour accorder ou non le crédit.



Il n’y a pas toujours besoin d’un algorithme pour avoir ce genre de comportement, il y a des cas très connus de “bugs” administratifs où les humains se sont comportés comme des machines. <img data-src=" />








drex a écrit :



WereWindle&gt;&gt;

quelqu’un aurait un exemple (même hypothétique) de ce genre de truc ? je visualise pas…Ouverture de crédit dans les banques. On prend toutes les informations, on les passe a la moulinette et on les compare à un modèle pour accorder ou non le crédit.





oui ça n’a qu’un effet financier. L’effet juridique n’apparait que si tu es en défaut de paiement non ?







elezoic a écrit :



Il n’y a pas toujours besoin d’un algorithme pour avoir ce genre de comportement, il y a des cas très connus de “bugs” administratifs où les humains se sont comportés comme des machines. <img data-src=" />





Brazil powered <img data-src=" />



edit : c’te quote de porc :/ …



Fermer