Dans la première partie de notre dossier consacré au rapport du Conseil d'État sur l'intelligence artificielle, nous avons vu comme la haute juridiction faisait un constat tiède sur la situation française. Dans cette deuxième partie, nous nous penchons sur la confiance et les critères essentiels poussés par le Conseil.

• Le Conseil d’État encourage l’intelligence artificielle dans les administrations
• Intelligence artificielle : les critères nécessaires à la confiance, selon le Conseil d'État
• Intelligence artificielle : le Conseil d’État veut des moyens et une « super CNIL »
• Intelligence artificielle : le cas ambivalent de Parcoursup

Confiance : LE grand critère pour les SIA

Le cas Parcoursup illustre toute la problématique de la transparence et de sa nécessité pour instaurer la confiance autour de l’intelligence artificielle, au sens très large.

Le rapport du Conseil d’État consacre un chapitre conséquent à ce thème, en commençant par définir ce que lui semblent être ses sept grands principes fondateurs :

• La primauté humaine
• La performance
• L’équité et la non-discrimination
• La transparence
• La sûreté (cybersécurité)
• La soutenabilité environnementale
• L’autonomie stratégique

Primauté humaine, performance et équité

La primauté humaine est sans doute le critère le plus fondamental. Il assure qu’un algorithme, quel qu’il soit, fonctionne au bénéfice de l’être humain. C’est reconnaitre également qu’il a été créé par des humains, qui en acceptent toute la responsabilité, y compris – surtout ! – ses dysfonctionnements. Dans le cadre du service public, l’intérêt général doit primer, de même que la réversibilité du processus d’automatisation et la chaine clairement identifiée de la responsabilité humaine, impliquant une personne à contacter en cas de problème, et plus généralement la possibilité de parler à un agent si le processus automatique ne donne pas satisfaction.

En matière de satisfaction, la question de la performance est centrale. Elle couvre tous les critères de bon fonctionnement, comme l’exactitude des informations ou résultats. La note de faux positif y est contenue avec toutes les problématiques qu’elle engendre, car elle ne signifie pas la même chose pour un drone de l’armée et alarme anti-incendie. Le système doit être robuste, rapide et doit tendre vers une satisfaction maximale, ce qui suppose un outil d’évaluation par les personnes l’utilisant. Cela implique de minimiser, prévenir et de résoudre rapidement tout dysfonctionnement.

Sur l’équité et la non-discrimination, les exemples sont déjà nombreux depuis des années. C’est une inquiétude constante désormais, née des biais constatés avec le temps et pouvant des conséquences délétères sur les populations concernées. Un SIA (systèmes d’IA), quel qu’il soit, ne doit donc introduire aucune discrimination.

Trois exigences, pour le Conseil d’État : « la nécessité pour les concepteurs du système d’opérer un choix parmi les différentes acceptions de l’équité et de le formaliser ; la nécessité de prévenir les biais discriminatoires involontaires ; et la nécessité de garantir en toutes circonstances l’accessibilité et l’universalité des systèmes vis-à-vis des usagers ». Selon l’algorithme, sa conception et le choix des données pour l’entrainer revêtent une même importance. La juridiction résume ainsi l’objectif : un algorithme doit toujours tendre vers l’universalité et l’accessibilité maximale.

Transparence

Nous y voilà. Le Conseil note qu’une carence dans ce domaine ne peut qu’alimenter l’idée chez une partie de la population que les SIA sont là pour « cacher quelque chose ». Il est donc chaudement recommandé que tout SIA soit muni d’une documentation accessible au public, expliquant au moins son fonctionnement, en tenant du cadre juridique particulier dans certains domaines. L’exigence de transparence doit ainsi « se concilier avec l’impératif de confidentialité » parfois attaché aux activités sensibles.

Toujours dans la transparence, on trouve une exigence de loyauté, liée d’ailleurs à la primauté humaine. Le SIA, en plus d’être bénéfique, doit être signalé à l’utilisateur quand il intervient dans une décision ayant un impact direct sur sa vie. Elle couvre les informations passives (que la personne se procure pendant la démarche) et actives (notifications personnelles). Notez que l’obligation active existe déjà pour toute décision individuelle, et que le projet de règlement européen sur l’IA pose qu’une personne soit toujours informée d’une interaction avec un SIA, même quand aucune décision n'est prise.

Deux autres critères accompagnent la transparence : l’explicabilité, ainsi que la conception transparente et auditable. La première impose au responsable du SIA une capacité à pouvoir expliquer le résultat obtenu par le traitement automatisé, dans un langage compréhensible (autant que faire se peut). Ce qui est en soi un grand défi, le Conseil reconnaissant que « l’explicabilité pure et parfaite ne saurait […] constituer une condition sine qua non du déploiement des systèmes d’IA publics ». Quant à la seconde, elle parle d’elle-même.

Autre élément essentiel de la confiance, la sureté, et plus précisément la cybersécurité. Il s’agit de prévenir les attaques et de pouvoir résoudre aussi rapidement que possible leurs conséquences si elles se produisent quand même. Plus précisément, le Conseil aborde les cas d’empoisonnement des données d’apprentissage, le risque des leurres (ou « exemples inverses ») ou encore, plus classique, le vol de données par rétro-ingénierie. Le sujet est d’autant plus important qu’une modification, dans l’algorithme ou les données, peut avoir de lourdes conséquences sur la vie du public. Ce risque va de pair avec une généralisation des SIA dans l’administration française.

• Les algorithmes, entre intelligence et injustice artificielles

La bride environnementale

La soutenabilité environnementale est un chapitre intéressant du rapport, dans lequel le Conseil d’État montre une certaine ironie. L’impact écologique des SIA est, sur le papier, loin derrière celui des terminaux, qui représentent actuellement 70 à 80 % en moyenne, selon l’ADEME. Cependant, cette part peut atteindre un « degré d’intensité qui exige une attention et des précautions renforcées ».

Le Conseil fustige à demi-mots la « vision utopique » dont les tenants considèrent l’IA comme la solution à ce problème : réchauffement climatique, perte de biodiversité, épuisement des ressources, rien ne lui résisterait. En attendant cette épiphanie, force est de constater que la généralisation des SIA, tels qu’ils sont aujourd’hui conçus, concourrait significativement à l’aggravation de la crise environnementale », note le rapport.

Le Conseil ne nie pas le rôle « précieux » que peuvent endosser les SIA sur ces questions. Il tient cependant à rappeler quelques constats évidents, comme le besoin en terres rares qui ne peut qu’augmenter avec la généralisation prévue de ces systèmes. Cette simple question renvoie à l’exploitation de ces terres, souvent dans des conditions déplorables, ainsi qu’aux questions de souveraineté, nombreuses ces temps-ci autour du numérique.

• Empreinte carbone des internautes : les modalités d’information… une méthodologie « foireuse »
• NegaOctet : anatomie de la BDD sur « l’impact environnemental des services numériques »

L’artificialisation des sols est également mentionnée, le Conseil insistant que l’informatique dans le cloud, tout aérienne qu’elle soit dans l’esprit des utilisateurs, n’en garde pas moins une présence très concrète sur le plancher des vaches. Mais c’est sur le sujet de l’énergie que la haute juridiction avertit : la consommation, pour des systèmes complexes, peut atteindre des proportions considérables. La course à la performance accélère cette consommation, car « conduit à une disproportion inacceptable entre son incidence environnementale et les bénéfices obtenus ». En effet, il arrive que le modèle ne soit pas mis en production après la phase d’inférence. L’énergie dépensée l’a alors été en pure perte.

Le Conseil recommande donc que la soutenabilité environnementale soit intégrée dès les premières phases de conception d’un SIA. Le rapport énergie/bénéfice doit rester dans l’esprit des concepteurs, d’autant plus dans un monde où le coût de l’énergie va augmenter significativement. À titre d’exemple, la victoire d’AlphaGo en 2016 avait représenté, pour cette seule partie, quatre mois de consommation d’électricité d’un ménage français moyen. Sans compter que cet « exploit » avait été réitéré un an plus tard avec Alpha Go Zero.

Autonomie stratégique

Enfin, l’autonomie stratégique rejoint des thématiques souvent abordées ces derniers temps. Les collectivités territoriales doivent ainsi s’assurer qu’elles disposent « de la plus grande liberté de choix possible quant aux solutions qu’elles entendent déployer en matière de SIA ».

Et ce n’est pas tout. Dans le même temps, les mêmes collectivités doivent s’assurer que leur degré de maitrise est tel qu’il neutralise « une utilisation contraire aux intérêts de l’État », en laissant par exemple la main aux puissances étrangères. De ce point de vue, il n’y a pas réellement de différence entre les SIA et le domaine nucléaire, selon le Conseil d’État. « À ce titre, la stratégie de la France doit tenir les deux bouts de la chaîne : poursuivre l’ambition d’une autonomie stratégique européenne tout en s’assurant d’un certain degré d’indépendance nationale », poursuit le rapport.

C’est donc bien tout un écosystème qu’il faut développer, car cette liberté de choix ne sera garantie que si les ressources nécessaires sont présentes. Le Conseil résume très bien les quatre enjeux à développer simultanément :

• Les compétences : le rapport pointe directement le problème de « fuite définitive des cerveaux », qui doit recevoir des réponses dans la stratégie IA publique, tout en reconnaissant qu’il sera difficile de s’aligner avec les niveaux de rémunération des pointures dans le domaine, particulièrement face aux GAFAM.
• Les structures de recherche : même constat pour le Conseil, qui déplore qu’en dépit du haut niveau d’expertise de certaines équipes comme à Inria, la France « ne semble pas encore disposer d’équipes de R&D de la puissance de celles qui contribuent le plus fortement au front pionnier de l’IA », comme celles des GAFAM (encore une fois) et plus généralement du privé (Deepmind, OpenAI, Tesla…)
• Les infrastructures : le Conseil souligne la « vulnérabilité » de la France en matière de semi-conducteurs et de cloud. Il note cependant que les choses évoluent sur les deux sujets en Europe. Concernant le cloud, la présence d’infrastructures nationales serait idéale.

• Les données d’apprentissage : comme pour les infrastructures, il s’agit là encore d’examiner les éventuels liens de dépendance qu’une collectivité publique pourrait créer vis-à-vis d’un acteur extra-européen. Une chaine d’approvisionnement doit ainsi être soigneusement préparée pour alimenter les SIA en « données fraiches ».