Les algorithmes et l'intelligence artificielle occupent une place déjà importante dans notre vie, et cela va s'accentuer avec le temps. La CNIL s'est penchée sur le sujet et présente un état des lieux axé sur deux principes fondateurs – loyauté et vigilance – six recommandations et des dizaines de questions devant trouver des réponses.

En vertu de la loi pour une République numérique de 2016, la CNIL est chargée de mener une réflexion sur les enjeux éthiques et les questions de société soulevées par l’évolution des technologies numériques, notamment les algorithmes et l'intelligence artificielle, deux sujets étroitement liés. Dans un épais rapport, elle se demande ainsi « comment permettre à l’Homme de garder la main » face aux machines.

Depuis le début de l'année, 3 000 personnes ont participé à 45 manifestations (27 à Paris, 14 en province et 4 outre-Atlantique). Une concertation citoyenne s'est également déroulée à Montpellier mi-octobre. Celle-ci a fait l'objet d'une publication détaillée, mais elle ne regroupe les témoignages que de 37 personnes avec quasiment un quart de 18 - 34 ans, un quart de 35 - 49 ans, encore un quart de 50 - 64 ans et un dernier quart de plus de 65 ans.

• Lire le rapport sur les enjeux éthiques des algorithmes et de l’intelligence artificielle
• Lire le rapport sur la concertation citoyenne sur les enjeux éthiques liés à la place des algorithmes

Un « mythe » aux multiples facettes

En guise d'introduction, Isabelle Falque-Pierrotin, présidente de la CNIL, rappelle que « l’intelligence artificielle est le grand mythe de notre temps ». À tour de rôle, les uns et les autres agitent le spectre d'une destruction massive d'emplois, « l'émergence apocalyptique d’une conscience robotique hostile », une Europe écrasée par la concurrence, ou au contraire l'arrivée d’un nouvel âge d’or où les tâches ingrates seraient déléguées à des machines.

Avec ce rapport, la CNIL souhaite lancer un débat afin de « garantir que l’intelligence artificielle augmente l’homme plutôt qu’elle ne le supplante ». Elle entend aussi participer à « l’élaboration d’un modèle français de gouvernance éthique de l’intelligence artificielle ». Tout un programme, détaillé dans un document de 80 pages que nous avons analysé.

Deux principes, six recommandations et toujours de nombreuses questions

Deux grands principes se dégagent du rapport : loyauté et vigilance. Pour commencer, « tout algorithme, qu’il traite ou non des données personnelles, doit être loyal envers ses utilisateurs, non pas seulement en tant que consommateurs, mais également en tant que citoyens ». Bref, l’intérêt des personnes doit primer pour la CNIL (nous y reviendrons).

Le second rappelle que « le développement des systèmes algorithmiques va de pair avec une érosion des vigilances individuelles ». La CNIL veut donc mettre en place « une forme de questionnement régulier, méthodique et délibératif » sur l'utilisation et la conception des systèmes algorithmiques (au sens large du terme). Il ne faudrait en effet pas leur accorder une confiance excessive et toujours garder un esprit critique... Un conseil valable pour l'ensemble des nouvelles technologies.

De ces principes découlent six recommandations opérationnelles :

• Former à l’éthique tous les acteurs-maillons de la « chaîne algorithmique » (concepteurs, professionnels, citoyens)
• Rendre les systèmes algorithmiques compréhensibles
• Travailler le design des systèmes au service de la liberté humaine, pour contrer l’effet « boîtes noires »
• Constituer une plateforme nationale d’audit des algorithmes
• Renforcer la fonction éthique dans les entreprises (comités, guide de bonnes pratiques, chartes déontologies, etc.)
• Encourager la recherche sur l’IA éthique et lancer une grande cause nationale participative autour d’un projet de recherche d’intérêt général

Une méconnaissance du public, un effort de définition nécessaire

Les algorithmes et l'intelligence artificielle sont partout et dans tous les médias ou presque. Il ne se passe en effet quasiment pas une semaine sans que l'IA « révolutionne » (au moins dans le discours marketing) tel ou tel domaine. Problème, on ne sait pas toujours précisément de quoi il s'agit.

Un constat partagé par la CNIL dans son rapport : « Ces mots sont aujourd’hui partout, non sans confusion parfois. Les définitions et les exemples qui en sont donnés dans le débat public aujourd’hui sont souvent imprécis ». Ainsi, « si 83% des Français ont déjà entendu parler des algorithmes, ils sont plus de la moitié à ne pas savoir précisément de quoi il s’agit (52%) ».

Avant de se lancer dans une discussion saine et constructive sur les algorithmes et l'intelligence artificielle entre les différentes parties concernées, il faut donc absolument « préciser le rapport entre algorithmes et intelligence artificielle », selon la commission. 

Mais au fait, c'est quoi un algorithme, l'apprentissage automatique et profond ?

Voici donc la définition, au sens strict, d'un algorithme selon la CNIL : « la description d’une suite finie et non ambigüe d’étapes (ou d’instructions) permettant d’obtenir un résultat à partir d’éléments fournis en entrée ». Ainsi, une recette de cuisine est un exemple d'algorithme.

Les choses se compliquent un peu avec l'intelligence artificielle. Elle est présentée comme « la science qui consiste à faire faire aux machines ce que l’homme ferait moyennant une certaine intelligence ». Vague, n'est-ce pas ?

L'une des branches de l'IA est le machine learning, ou l'apprentissage automatique. La CNIL reprend à son compte la définition d'Andrew Ng (Université de Stanford) : « la science permettant de faire agir les ordinateurs sans qu’ils aient à être explicitement programmés ». C'est le cas de la reconnaissance d'image : on donne à une IA des millions (voire des milliards) d'exemples d'une table en lui spécifiant qu'il s'agit d'une table pour qu'elle apprenne à reconnaitre cet objet. On ne tente donc pas d'expliquer le concept de table à un ordinateur.

Dans tous les cas, des algorithmes sont là : « L’intelligence artificielle qui repose sur le machine learning concerne donc des algorithmes dont la particularité est d’être conçus de sorte que leur comportement évolue dans le temps, en fonction des données qui leur sont fournies ». 

Vient ensuite le deep learning, alias apprentissage profond, une des branches de l'apprentissage automatique, lui-même un sous-domaine de l'intelligence artificielle : « il s’agit d’un ensemble de méthodes d’apprentissage automatique tentant de modéliser avec un haut niveau d’abstraction des données grâce à des architectures articulées de différentes transformations non linéaires. Sa logique étant inspirée du fonctionnement des neurones, on parle souvent de "réseaux neuronaux" ».

Et ce n'est pas fini, deux autres sous-domaines existent pour l'apprentissage automatique : supervisé (avec des données d’entrées qualifiées par des humains) et non supervisé (avec des données brutes). Cette dernière ouvrirait la voie à une IA forte.

Algorithmes et IA : différents et pourtant si proches

Les débouchés de l'apprentissage supervisé sont plus que nombreux : vision par ordinateur, reconnaissance de forme et d'image, traduction de langue, assistant numérique, détection de spams, etc. Bref, « le machine learning constitue à strictement parler une rupture par rapport à l’algorithmique classique » affirme la CNIL dans son rapport.

Pour son apprentissage, une intelligence artificielle a besoin d'avoir une immense quantité de données (les géants du Net et les réseaux sociaux disposent d'un avantage certain dans ce domaine, car ils exploitent les informations de leurs utilisateurs).

« L’algorithme sans données est aveugle. Les données sans algorithmes sont muettes » note poétiquement le rapport de la CNIL. De manière générale, « la visibilité accrue des algorithmes aujourd’hui est indissociable des masses de données inédites à disposition dans tous les secteurs, qu’il faut trier pour pouvoir en tirer tout le potentiel » ajoute l'institution.

Cette dernière précise néanmoins que, « au-delà de ces différences techniques, une approche globale des algorithmes et de l’IA demeure cependant pertinente. Algorithmes déterministes et algorithmes apprenants soulèvent en effet des problèmes communs ». Dans les deux cas, il s'agit notamment d'automatiser des tâches autrement accomplies par des humains.

Recentrer le débat sur les problématiques à brève échéance

Le champ des possibilités est donc extrêmement large, voire vague pour certains. Afin d'aller au plus pressant et éviter de tergiverser sur des sujets qui n'arriveront pas avant très longtemps, la CNIL limite « le périmètre de la réflexion aux algorithmes qui posent aujourd’hui les questions éthiques et de société les plus pressantes ».

Le spectre d'une IA forte issue « d’un imaginaire apocalyptique alimenté par le cinéma hollywoodien » ne doit être « un moyen d’éluder de plus sérieux problèmes – éthiques, voire tout simplement juridiques – que posent déjà et à brève échéance les progrès effectifs de l’IA faible » affirme à juste titre le rapport.

Ainsi, cette notion de système entièrement autonome (que certains pensent capable de se retourner contre nous) est pour le moment laissée de côté, car à un horizon trop lointain et incertain. Il sera dans tous les cas temps d'y revenir plus tard, lorsque les questions pressantes auront été évacuées.

La CNIL liste les principales fonctions et applications des algorithmes nécessitant une réponse prioritaire :

• Produire des connaissances
• Recommander un produit, une offre de façon personnalisée
• Aider la prise de décision
• Prédire, anticiper (par exemple, des phénomènes naturels, des infractions, la survenue d’une maladie).
• Apparier une demande et une offre (« matching »), répartir des ressources (passagers et chauffeurs de taxis, parents et places en crèche, étudiants et places à l’université, etc.)

S'il est urgent de se pencher sur ces sujets, l'intelligence artificielle n'est pas nouvelle, loin de là même. Jérôme Lang, directeur de recherche au CNRS, explique l'évolution de la situation au cours des 40 dernières années, avec une grande accélération depuis un peu plus de 10 ans : 

« On savait depuis les années 1980 que ces méthodes fonctionnaient, seulement elles réclamaient une puissance de calcul et une quantité de données considérables, qui sont restées longtemps hors de notre portée. Tout a changé au milieu des années 2000 : avec l’augmentation de la capacité des processeurs, il est devenu possible d’effectuer dans un temps raisonnable les calculs nécessités par les algorithmes de deep learning.

L’autre changement majeur, c’est Internet et l’accroissement exponentiel de la masse de données qu’il a rendue disponible. Par exemple, pour entraîner un système de reconnaissance visuelle, il faut lui présenter le plus grand nombre possible de photos annotées : tandis qu’il fallait se démener pour constituer des échantillons de quelques centaines de clichés indexés par des étudiants, on peut aujourd’hui assez facilement accéder à des centaines de millions de photographies annotées par les internautes via les captchas. »

L'éthique du gendarme

De ces définitions et cas d'usage, découlent des enjeux éthiques importants. Au cours des derniers mois, des chercheurs ont régulièrement rappelé que « les résultats fournis par les algorithmes de machine learning les plus récents n’étaient pas explicables ». Pire encore, « il est très difficile de contrôler effectivement un système de machine learning » déclare la CNIL.

Cette fois encore, la notion « éthique » est vague : « un ensemble de normes édictées par l’entreprise et qu’elle s’impose à elle-même ». Et attention à ne pas se laisser embobiner par l'utilisation de ce terme : « Certaines évocations de l’utilisation "éthique" des données du client ne sont parfois rien d’autre qu’une façon de dire que l’entreprise se plie à la loi ».

Pour la CNIL, la notion la plus pertinente dans le cas présent est la suivante : l’éthique est « une éclaireuse du droit, la norme éthique une préfiguration de la norme juridique ». Pour la gardienne des libertés individuelles, il faut « redéfinir la limite entre le souhaitable et le non souhaitable ».

En découlent, des questions sur la délégation de certaines décisions, voire une possible déresponsabilisation se demande la commission. Deux exemples sont mis en avant où l'humain dispose – pour le moment ? – du dernier mot : la justice et la médecine. Les intelligences artificielles peuvent néanmoins apporter une « aide » de prise de décision.

Comment utiliser les recommandations d'une IA par la police ou un médecin ?

La question est de savoir quelle marge de manœuvre reste alors aux décideurs. Dans le domaine médical par exemple, la qualité d'une décision peut être quantifiée en fonction de l'état de santé du patient. Alors, « quelle marge d’autonomie resterait au médecin face à la recommandation (en termes de diagnostic et de solution thérapeutique à privilégier) qui serait fournie par un système d’« aide » à la décision extrêmement performant ? » s'interroge la CNIL.

Un médecin ne prendrait-il pas des risques à ne pas suivre les recommandations d'une IA ? Ne risque-t-il au contraire pas de trop faire confiance à cette aide numérique ? Deux sujets auxquels il faut être vigilant, d'autant plus que cela soulève la question de la responsabilité : « Celle-ci doit-elle être reportée sur la machine elle-même, qu’il s’agirait alors de doter d’une personnalité juridique ? Sur ses concepteurs ? Doit-elle être encore assumée par le médecin ? »

Nous retrouvons le même genre de questionnement dans le monde judiciaire, mais aussi dans celui de la police prédictive. Sans aller jusqu'à Précrime dans Minority Report, des algorithmes peuvent déjà se charger « de prédire le crime dans le temps et dans l’espace, afin d’orienter l’action des patrouilles ». Mais cela n'est pas sans conséquence : « l’utilisation de ce type d’algorithme focalise l’attention policière sur certains types d’infractions au détriment d’autres », sans parler du fait qu'il est bien difficile de juger de l’efficacité de ces modèles.

Les algorithmes gouverneront-ils le monde ?

La vision d'une « réglementation algorithmique » émerge chez certains, notamment poussée par Tim O’Reilly (fondateur d'O'Reilly Media, société spécialisée dans l'édition d'ouvrages d'informatiques). La « gouvernance » serait ainsi confiée aux algorithmes en mettant en avant leur objectivité que certains estiment « sans faille », contrairement à un jugement humain. Et encore, c'est en supposant qu'une intelligence artificielle soit « neutre, impartiale, infaillible »... ce qui dépend de la manière dont elle a été programmée, entrainée et avec quels jeux de données. Bref, ce n'est pas gagné.

Le Conseil National des Barreaux (CNB) ne partage évidemment pas ce point de vue : « il faut éviter que l’obsession de l’efficacité et de la prévisibilité qui motive le recours à l’algorithme nous conduise à concevoir les catégories et les règles juridiques non plus en considération de notre idéal de justice, mais de manière à ce qu’elles soient plus facilement "codables" ».

Rand Hindi (entrepreneur et data scientist) donne son point de vue sur les biais des uns et des autres : « les IA font moins d’erreurs que les humains, mais elles font des erreurs là où des humains n’en auraient pas fait ». Un exemple est proposé dans le rapport : l'accident mortel d'une voiture Tesla qui n'avait pas identifié le camion au milieu de la route, alors qu'un conducteur regardant attentivement la route ne peut normalement pas passer à côté.

Derrière ces outils, des choix politiques

Un algorithme « n’est jamais que le reflet de choix politiques, de choix de société ». Un exemple : le cas d'APB et le tirage au sort pour certains candidats. Il s'agit du « résultat d’un choix politique dont deux alternatives possibles seraient – schématiquement – la sélection à l’entrée à l’université ou l’investissement pour faire correspondre le nombre de places disponibles dans les filières en question avec la demande ».

Un autre exemple que nous avons déjà évoqué à plusieurs reprises : le choix des victimes par une voiture autonome en cas d'accident mortel : « un dilemme réglé en temps réel par une personne impliquée dans sa chair fait place un choix effectué par d’autres, ailleurs, bien en amont ». La voiture agira en fonction de la manière dont elle aura été programmée.

Les développeurs des algorithmes et des intelligences artificielles ne sont pour autant pas les maitres du futur, ils réagissent le plus souvent à des directives. Là encore ABP fait figure de cas d'école : « ses développeurs avaient pris soin d’y documenter l’origine de chaque modification du paramétrage de l’algorithme, en l’occurrence les directives qu’ils avaient reçues de la part de l’administration. En somme, la traçabilité de la responsabilité a été organisée par les développeurs mêmes d’APB ».

Mais entre la volonté initiale de certains, la mise en place d'un cahier des charges avec une logique algorithmique et la conception du système, il peut y avoir des différences plus ou moins importantes. En outre, il est important que les différents maillons de la chaine soient conscients des impératifs et des limitations des autres.

« Une chaîne de responsabilité »

Avec du machine learning, la situation est différente, mais elle n'est pour autant pas exempt de biais. Comme nous l'avons déjà expliqué, le système apprend avec des jeux de données et s'en sert ensuite pour se développer : « En fonction des données qui lui auront été fournies, ce dernier se comportera différemment ». Un exemple parmi d'autres : le bot de conversation Twitter Tay de Microsoft retiré en quelques heures pour aliénation mentale.

Il n'y ici plus un responsable facilement identifiable, mais toute « une chaîne de responsabilité » : du concepteur du système à l'utilisateur, en passant par celui qui a entraîné l'intelligence artificielle. Dans tous les cas, « les algorithmes et l’intelligence artificielle conduisent à une forme de dilution de figures d’autorité traditionnelles, de décideurs, de responsables, voire de l’autorité même de la règle de droit ».

Les données servant à entrainer une IA, un point à ne pas négliger

Ce n'est pas tout : des biais peuvent apparaitre simplement en fonction des jeux de données servant à entrainer une intelligence artificielle. La CNIL revient sur un cas de 2015 : « un logiciel de reconnaissance faciale de Google a ainsi suscité une forte polémique. Un jeune couple d’Afro-Américains s’est rendu compte qu’une de ses photos avait été étiquetée sous le tag "gorille" ».

Pas que l'IA soit raciste explique la commission, mais elle avait vraisemblablement été entrainé essentiellement, voire exclusivement, avec des photos de personnes blanches. « En conséquence, l’algorithme a considéré qu’une personne de couleur noire présentait plus de similitudes avec l’objet "gorille" qu’elle avait été entrainée à reconnaitre qu’avec l’objet "humain" ».

En voici encore un autre, tout aussi parlant : des chercheurs ont mis en évidence un biais sur la plateforme Adsence de Google : « Les femmes se voyaient proposer des offres d’emploi moins bien rémunérées que celles adressées à des hommes, à niveau similaire de qualification et d’expérience ». Un problème renforcé par l'omniprésente de Google, dont l'information est « susceptible d’avoir un effet tangible sur les décisions » des personnes.

Vous en voulez encore un autre ? L'aide proposée par une intelligence artificielle dans le domaine médical. Les données sont principalement issues d'hommes ayant des ancêtres européens. « Si vous êtes une femme d’origine africaine et jeune, je ne pense pas que la médecine personnalisée vous concerne », explique Philippe Besse, professeur de mathématiques et de statistique à l’Université de Toulouse.

Cette problématique trouve un écho particulier avec l'autonomie des médecins face à une telle recommandation. Le risque serait de trop faire confiance à une IA alors qu'elle peut avoir des biais à cause des données utilisées pour son entrainement.

Enfin, un dernier exemple avec Amazon. Le revendeur avait exclu de son service de livraison gratuite en un jour des quartiers avec des populations défavorisées, car ils n’offraient pas de possibilités de profit pour l’entreprise. « Même si l’objectif d’Amazon n’était assurément pas d’exclure de ses services des zones parce que leur population était majoritairement noire, tel s’avérait pourtant bien être le résultat de l’utilisation de cet algorithme [...] Il a pour effet de reproduire des discriminations préexistantes, quand bien même aucun racisme intentionnel n’est ici à l’œuvre ».

S'agit-il d'une volonté des développeurs, d'une réaction aux données utilisées pour entrainer l'intelligence artificielle ou un peu des deux ? Impossible à dire. Dans tous les cas, ces différents exemples montrent bien l'importance des jeux de données. La question est maintenant de savoir si on peut complètement supprimer ce genre de biais... dans une société qui fonctionne déjà avec des biais (et ils sont nombreux).

Le risque d'enfermement et de fragmentation de l'information

La CNIL part ensuite du principe qu'un algorithme de recommandation parvienne à parfaitement cerner les attentes d'un utilisateur. Une bonne chose ? Pas forcément non, car ils « augmenteraient la propension des individus à ne fréquenter que des objets, des personnes, des opinions, des cultures conformes à leurs propres goûts et à rejeter l’inconnu ».

L'individu risque ainsi de se retrouver enfermé dans une « bulle ». Mais il ne s'agit pas forcément d'une exclusivité des algorithmes, comme l'explique Antoinette Rouvroy, docteur en sciences juridiques : « nous sommes des êtres très prévisibles, aux comportements très réguliers, facilitant la possibilité de nous enfermer dans des bulles ».

Au niveau de la société, le risque est important : « les formes de privation d’exposition des individus à l’altérité, à des opinions différentes des leurs, notamment dans le registre politique, pourraient en tout cas constituer, selon certains, un problème pour la qualité et la vitalité du débat public, pour la qualité et la diversité de l’information, terreaux du fonctionnement correct des démocraties ». 

Dans le monde politique, la CNIL pointe du doigt un risque différent : « des logiciels de stratégie politique de plus en plus élaborés et appuyés sur un ciblage de plus en plus fin des électeurs conduisent à une fragmentation potentiellement sans précédent d’un discours politique adressé désormais à des individus atomisés ».

Le rapport se pose plusieurs questions, sans pouvoir y répondre : faut-il y voir une forme de manipulation ? Faut-il y poser des limites ? Faut-il considérer ces pratiques comme le fruit inéluctable et difficilement régulable de l’évolution technologique et dès lors imaginer des contrepoids ? Si oui, lesquels ? 

Trop de personnalisation pourrait entrainer une démutualisation

Les géants du Net disposent de profils de plus en précis des utilisateurs. Ils peuvent donc leur proposer des services et des faits en adéquations avec leurs opinions, mais aussi estimer divers risques liés à la santé par exemple... autant dire que cela pourrait intéresser les sociétés d'assurance.

Actuellement, la mutualisation des risques fait que chacun s'assure sans savoir qui contactera telle maladie, aura tel accident, etc. Or, la connaissance précise des habitudes des individus « tendrait à lever le "voile d’ignorance" sous-tendant la mutualisation assurantielle ». Les personnes à risques pourraient ainsi devoir payer plus, voire ne plus être assurée, car un algorithme l'a décidé. 

Au final, la CNIL formule six problématiques soulevées par les algorithmes et l'intelligence artificielle :

• L’autonomie humaine au défi de l’autonomie des machines
• Biais, discrimination et exclusion
• Fragmentation algorithmique : la personnalisation contre les logiques collectives
• Entre limitation des mégafichiers et développement de l’intelligence artificielle un équilibre à réinventer
• Qualité, quantité, pertinence : l’enjeu des données fournies à l’IA
• L’identité humaine au défi de l’intelligence artificielle

Régulation des algorithmes : la CNIL rappelle que des lois existent depuis près de 40 ans

Dans la seconde partie de son rapport, la CNIL s'attaque à une question revenant régulièrement sur le tapis : faut-il réguler les algorithmes ? Pour certains la réponse est négative. Ils s'expliquent : « il serait trop tôt pour imposer des règles qui s’avéreraient nécessairement inadaptées et vouées à être rendues rapidement caduques par des évolutions techniques progressant désormais à un rythme incommensurable à celui de l’invention juridique ».

Or, comme le rappelle la CNIL, « les algorithmes et leurs usages se trouvent d’ores et déjà encadrés, directement ou indirectement ». Problèmes, les règles sont généralement dispersées dans divers codes et lois, notamment la loi Informatique et Libertés de 1978 (suite à la commission Tricot).

La CNIL rappelle ainsi l'article 1 : « l’informatique doit être au service de chaque citoyen. Son développement doit s’opérer dans le cadre de la coopération internationale. Elle ne doit porter atteinte ni à l’identité humaine, ni aux droits de l’homme, ni à la vie privée, ni aux libertés individuelles ou publiques ». Le Règlement européen sur la protection des données personnelles (RGPD) et ePrivacy, qui entreront en vigueur en mai s'intéressent aussi au sujet.

Trois principes sont mis en avant dans le rapport :

• « Premièrement, la loi encadre l’utilisation des données personnelles nécessaires au fonctionnement des algorithmes.
• Deuxièmement, la loi Informatique et Libertés interdit qu’une machine puisse prendre seule (sans intervention humaine) des décisions emportant des conséquences cruciales pour les personnes (décision judiciaire, décision d’octroi de crédit, par exemple).
• Troisièmement, la loi prévoit le droit pour les personnes d’obtenir, auprès de celui qui en responsable, des informations sur la logique de fonctionnement de l’algorithme ».

Plusieurs limitations tout de même liées à ces dispositions : elles ne concernent que les algorithmes traitant des données personnelles (ce n'est pas toujours le cas) et elles ne prennent en compte que les conséquences pour les individus, pas le collectif.

Interdire ou non l'IA dans certains domaines, une question légitime ?

« Faut-il interdire les algorithmes et l’intelligence artificielle dans certains secteurs ? », notamment pour des raisons éthiques (justice, médicale, etc.) se demande ensuite la commission. Le psychiatre Serge Tisseron évoque « le ciblage personnalisé dans le domaine publicitaire et culturel » qui condamnerait « chaque spectateur à tourner en rond dans ce qu’il connaît de ses goûts et ce qu’il ignore de ses a priori ». On se retrouve là encore avec l'idée d'une bulle numérique.

La question se pose également pour les assurances : « une limitation du recours aux données ne serait-il pas une solution possible (légale ou mise en place par les acteurs eux-mêmes) pour maintenir le "voile d’ignorance indispensable" à la pérennité de la mutualisation du risque ? »

Loyauté, vigilance, transparence et surtout intelligibilité

Comme annoncé au départ, la CNIL ressort de ce bilan deux grands principes. La loyauté tout d'abord, déjà formulée par le Conseil d'État en 2014. Elle « consiste à assurer de bonne foi le service de classement ou de référencement, sans chercher à l’altérer ou à le détourner à des fins étrangères à l’intérêt des utilisateurs ».

Si on la retrouve « sous une forme embryonnaire dans la loi Informatique et Libertés de 1978 », la CNIL souhaite élargir son périmètre d'action afin de l'étendre aux effets collectifs des algorithmes. Le rapport tente une approche : « un algorithme loyal ne devrait pas avoir pour effet de susciter, de reproduire ou de renforcer quelque discrimination que ce soit, fût-ce à l’insu de ses concepteurs ». Comme nous l'avons détaillé dans les biais liés aux jeux de données, les discriminations peuvent prendre plusieurs formes, parfois de manière surprenante.

La prise en compte du collectif doit également être de mise pour le principe d'obligation de vigilance. Il est là pour rappeler « l’imprévisibilité, le caractère évolutif et potentiellement surprenant des algorithmes et de leurs effets ». Le Conseil National des Barreaux en ajoute une couche et ajoute que « le sens de l’éthique du lieu de mise en œuvre du programme peut être très différent de celui du concepteur du programme ». Bref, il faut être vigilant.

La transparence est une conséquence des deux principes précédents. Elle concerne aussi bien le grand public que les développeurs d'algorithmes probabilistes (machine learning) qui ne comprennent pas toujours la logique des résultats. Le CNRS acquiesce dans une publication récente : « Le problème posé par ces dispositifs est qu’une fois entraînés, ils fonctionnent comme une boîte noire : ils donnent de bons résultats, mais, contrairement à ce que permettent les systèmes symboliques, ne donnent aucune indication sur le « raisonnement » qu’ils ont suivi pour y arriver. Un phénomène que trois chercheurs employés par Google ont appelé dès 2009 "l’irrationnelle efficacité des données" ».

La CNIL explique aussi que l'idée de transparence « est considérée par beaucoup comme excessivement simplificatrice et finalement insatisfaisante ». Disposer d'un code source ne serait pas d'une grande utilité à la grande majorité du public afin de comprendre son fonctionnement.

Un fait qui n'est pas sans rappeler celui des logiciels open source : oui le code source est disponible, mais pour autant pas grand monde ne va mettre les yeux dedans pour essayer de comprendre de quoi il en retourne exactement, et encore moins pour tenter d'analyser le projet. La faille Hearbleed d'OpenSSL est presque un cas d'école dans ce domaine. Pour la CNIL, il ne faut pas donc uniquement de la transparence, mais aussi de l'intelligibilité.

La loi, c'est pas automatique

À plusieurs reprises, la commission explique que les réflexions sur les éventuelles limites des algorithmes ne signifient « nullement que la loi soit systématiquement la forme adaptée » à leur mise en place. Au contraire, la plupart des recommandations peuvent donner lieu à « une traduction juridique contraignante, ou bien à une appropriation volontaire de la part des acteurs, plusieurs degrés étant envisageables entre ces deux extrêmes ».