Les technologies de reconnaissance faciale, posturale et comportementale sont de plus en plus utilisées dans des domaines aussi divers que la sécurité, la finance et les transports. On la retrouve dans le contrôle aux frontières, avec la mise en place du système PARAFE en 2017 ; parfois associées aux systèmes vidéos existants déjà dans les villes, les transports, les espaces de loisirs, voire les écoles ; ou encore en santé, quand des expérimentations montrent que la reconnaissance peut aider à diagnostiquer des maladies complexes comme le syndrome de DiGeorge...

En s’appuyant notamment sur les 239 résultats obtenus à sa consultation publique et sur les auditions d’une quinzaine de personnalités issues des mondés économiques, politiques et de la société civile, le Comité national pilote d’éthique du numérique (CNPEN) vient de publier un avis sur les enjeux éthiques posés par ces outils. Créée en 2019 et pérennisée l’an dernier, l’instance souligne la nature ambivalente des outils de reconnaissance faciale, posturale et comportementale.

« La profusion et l’accumulation de leurs applications exigent de s’interroger collectivement sur le bien-fondé, les désagréments, voir les dégager potentiels de chacune d’entre elles, dans son contexte d’usage. » Or, comme les applications sont diverses « tant par leur diversité que par la multitude de leurs conséquences potentielles », le CNPEN – et les corapporteurs de ce travail que sont l’informaticien Jean-Gabriel Ganascia et l’entrepreneuse Karine Dognin-Sauze – insistent : « on ne saurait circonscrire par avance les conséquences prévisibles et les dérives potentielles ».

Le CNPEN émet tout de même 19 recommandations, en tête desquelles la nécessité d’énoncer clairement les finalités et d’analyser et expliquer l’utilité d’une technologie (via des cartographies des risques et la construction d’outils pour les éviter). Elle promeut aussi un principe de proportionnalité dans le déploiement de ce type de technologies, et argumente en faveur de protocoles rigoureux et transparents d’expérimentation pour s’assurer que les technologies répondent bien au(x) besoin(s) identifié(s).

• Comprendre les fonctions et les utilisations de la reconnaissance faciale
• Après la vidéo-surveillance algorithmique, les députés vont vers la reconnaissance faciale

Un outil pédagogique

S’inscrivant dans la logique du rapport de la CNIL qui appelait, en 2019, à un débat « à la hauteur des enjeux » et d’autres travaux équivalents, le travail du CNPEN se démarque par son approche didactique – comme l’avait fait son précédent avis sur l’intelligence artificielle générative.

• • Le Comité national pilote pour l’éthique du numérique donne 22 préconisations sur l’IA générative

Il argumente en faveur de la définition précise de ce que recouvre chaque terme, l’identification des problématiques que chaque technologie est supposée aider à résoudre et l’étude des progrès, des risques et détournements non anticipés induits. Et il propose ses propres explications relatives aux composantes matérielles (par exemple capteurs divers, qui peuvent être des caméras, des microphones, etc), logicielles et humaines nécessaires à la fabrication des technologies étudiées, ainsi que le détail de la douzaine d’interlocuteurs impliqués dans leur fabrication et leur déploiement.

Le CNPEN détaille par ailleurs les différents usages auxquels peut servir la reconnaissance : l’authentification, l’identification et la catégorisation, qui, chacune, répondent à des besoins différents. Elle s’attarde même sur les définitions des termes surveiller, contrôler et protéger, quelquefois utilisés de manière interchangeable dans les débats, quand bien même ils ne le sont pas.

• • Une cartographie de l’utilisation de la reconnaissance faciale dans les espaces publics en Europe

Tensions éthiques

Pour illustrer les enjeux éthiques, le rapport détaille plusieurs exemples concrets, comme celui des Jeux olympiques de 2024. Dans ce cadre, indique l’instance, des technologies sont proposées « pour détecter les mouvements de foule, afin d’anticiper les engorgements et leurs conséquences funestes, et, par là, renforcer la sécurité collective ».

À l’inverse, il cite les propositions de l’entreprise Clearview AI de mettre ses technologies de reconnaissance faciale à disposition de la population ukrainienne dans le cadre de la guerre qui l’oppose à la Russie comme un « détournement d’usage » dont risqueraient de découler « injustices, humiliations, violations des conventions de Genève sur les prisonniers de guerre, instrumentalisation et profanation de l’image des morts, autant de pratiques condamnables dans toute situation ».

Il pointe les tensions que le déploiement des diverses technologies de reconnaissance faciale, posturale et comportementale fait peser entre libertés individuelles et collectives d’un côté, sécurité des personnes de l’autre. Un tiraillement que le CNPEN déclare « d’autant plus difficile à apprécier par le citoyen que ces technologies sont souvent invisibles ».

« Il en résulte tout à la fois une surestimation des dangers, lorsque l’on craint une exploitation excessive des données par les acteurs publics, alors qu’il existe, au sein de l’Union européenne, des garanties juridiques fortes ; et une sous-estimation due, par exemple, à l’ignorance de certains modes de traçage comme ceux qu’exercent certaines sociétés privées à l’insu des utilisateurs qui n’ont pas pris connaissance des conditions générales d’utilisation des dispositifs qu’ils ont achetés ou dont ils bénéficient « gratuitement ».»

Et le CNPEN de qualifier ces deux logiques de « nuisibles : la première risque de conduire à une forme de fatalisme et la seconde à l’imprudence ».

L’instance note par ailleurs que la question de l’utilité des technologies déployées demande d’être posée et estimée de manière objective. Utilité qui mérite selon le CNPEN d’être tout autant mise au regard de l’accoutumance des usagers (ça n’est pas parce qu’ils en ont l’habitude que c’est nécessairement la meilleure solution), que des risques de contrôle disproportionnés dans un contexte policier, professionnel, ou même automobile. Dans ce dernier cas, un dispositif de reconnaissance comportementale peut en effet aussi bien aider à détecter l’endormissement qu’à informer un constructeur ou un assureur sur un handicap ou une erreur d’attention, « sans consentement ou information préalable de l’utilisateur ».

Le CNPEN identifie enfin une série d’enjeux posés par la nécessaire supervision humaine : elle n’est pas systématique, quand bien même certains usages pourraient le demander. À l’inverse, l’humain n’est pas plus infaillible que la machine. Sans parler des enjeux de formation et de maintenance que crée chaque déploiement.

Finalités, explicabilité, et réflexions design

Le CNPEN insiste lourdement sur le besoin de préciser les finalités de chaque technologie : elles peuvent être plurielles, mais pour éviter le piège « la « solution miracle », clé en main, que propose le fournisseur », l’instance recommande aux décisionnaires de confronter les solutions possibles en fonctions de buts visées.

Outre la possibilité de réaliser des expérimentations dans un cadre juridique précis, le CNPEN insiste aussi sur l’importance d’une « démarche expérimentale rigoureuse et transparente reposant sur des bases scientifiques solides » (un point qui rappelle l’alerte lancée par la chercheuse Kate Crawford sur certaines expérimentations de reconnaissance faciale relevant des pseudosciences). Et le comité de souligner que la communication d’un pourcentage d’erreur (97% de réussite dans le cas de l’expérimentation relative au syndrome DiGeorge, par exemple), n’est pas suffisante pour estimer la pertinence des résultats fournis par une technologie.

Le CNPEN souligne aussi les multiples dimensions économiques et environnementales à prendre en compte pour évaluer correctement un projet. Celles-ci concernent autant l’infrastructure matérielle, les logiciels de traitement que les frais relatifs à la supervision et l’utilisation des systèmes et ceux liés à l’expérimentation, la validation du dispositif, sa certification et l’évaluation de ses risques.

De concert avec d’autres travaux sur les technologies d’intelligence artificielle, le CNPEN se prononce par ailleurs en faveur de différents éléments :

• • des tests réguliers pour évaluer la fiabilité des résultats du système utilisé ;

• • la création d’interfaces permettant de visualiser simplement tous les événements sujets à incertitude ;

• • permettre aux systèmes pour lesquels il est pertinent de fournir plusieurs hypothèses de détection et d’interprétation plutôt qu’uniquement la plus probable,

• • et enfin d’enregistrer des sessions diverses pour faciliter la réalisation d’audits.

• • La « reconnaissance faciale rétrospective » a explosé de 330 % l’an passé au Royaume-Uni