Quels sont les effets des systèmes d’intelligence artificielle appliqués au processus de recrutement sur la vie privée ? Telle est l’une des questions à laquelle l’Information Commissioner’s Office (ICO), la CNIL britannique, a cherché à répondre lors d’un audit conduit auprès de développeurs et de fournisseurs d’outils d’IA appliqués à la recherche, au filtrage et à la sélection de candidatures.

Dans un rapport publié début novembre, l’institution reconnaît que ces outils peuvent aider les employeurs, mais souligne qu’ils créent aussi de vrais risques pour la vie privée des personnes qui y sont soumises. Si de nombreuses solutions analysées intégraient des outils de suivi de la pertinence des résultats et de lutte contre les biais, plusieurs proposent aussi « des fonctionnalités qui pourraient conduire à des discriminations ». La plupart collectent aussi « beaucoup plus d’informations personnelles que nécessaire ».

Au gré de ses audits, l’ICO a formulé de nombreuses recommandations qu’elle réunit sous les catégories désormais classiques d’équité (suivre les potentiels dysfonctionnements du système susceptibles de provoquer de la discrimination et les résoudre), de transparence et d’exploitabilité. Elle recommande aussi la minimisation de la collecte des données, mais aussi des buts pour lesquels un système d’IA est déployé, recommandant de fait une forme de sobriété dans l’usage de ces technologies.

Outre diverses autres recommandations liées à la protection pratique des données, et la nomination de contrôleurs des données, elle recommande enfin aux constructeurs d’IA comme aux recruteurs de vérifier leurs obligations légales avant de traiter des données (donc de demander le consentement des candidats quand c’est nécessaire), y compris quand les outils qu’ils construisent et utilisent traitent des données sensibles.

Recherche, filtrage et sélection

En pratique, d’août 2023 à mai 2024, l’entité s’est penchée sur des outils de recherche visant à trouver les candidats correspondant le mieux à la culture de l’entreprise, mais aussi d’autre dédiées à améliorer la diversité des équipes du recruteur en fonction du genre, de l’ethnicité, de l’âge ou d’autres caractéristiques. Du côté des outils de filtrage, l’ICO s’est intéressée aux outils de notation des compétences des candidats à partir de leur CV et de leur lettre de motivation, à ceux de prédiction de l’intérêt d’un candidat en fonction de ses interactions avec des recruteurs, et ceux de prédiction de la capacité d’un candidat à passer le processus de sélection.

Du côté de ceux de sélection, enfin, l’ICO s’est intéressée à des outils dédiés à évaluer les compétences d’un candidat à partir de jeux comportementaux ou d’évaluation psychométriques appuyées sur l’IA. Elle s'est aussi penchée sur les outils de notation des candidats à partir de leurs réponses écrites ou de la traduction de leurs réponses faites en personne ou en ligne et de l’évaluation du type de personnalité des candidats à partir de leur langage, de leur ton de voix ou d’autres éléments. Rappelons ici que plusieurs de ces systèmes sont régulièrement qualifiés de « pseudoscience automatisée » par une variété de chercheuses en IA.

L’ICO a exclu tout outil traitant des données biométriques et tout outil d’IA générative, même si elle se déclare « consciente de l’utilisation croissante de ces modèles dans le recrutement ». Elle ne précise pas le nombre exact d'entreprises qu'elle a rencontrées.

Discriminations automatisées et collecte irréfrénée de données

Parmi les fonctionnalités problématiques, l’ICO relève que certains outils proposent des barres de recherche permettant aux recruteurs de filtrer les candidats en fonction de catégories protégées par le droit britannique.

Comme pouvaient le laisser craindre de précédentes enquêtes et travaux scientifiques, certains outils fonctionnent par ailleurs de telle manière que les systèmes d’IA qui les sous-tendent « déduisent ou infèrent » différentes caractéristiques protégées des candidats, à partir de leurs CV, voire simplement de leurs noms.

Parmi les données concernées : le genre ou l’ethnicité. Pour l’ICO, « ces informations déduites ne sont pas suffisamment précises pour permettre un contrôle efficace des préjugés. » Par ailleurs, « elles ont souvent été traitées sans base légale et à l'insu du candidat ».

• Comment les systèmes de recrutement automatisés cachent des profils qualifiés

Le rapport de l’ICO constate précisément que plusieurs outils collectent beaucoup plus de données personnelles que nécessaire. Dans certains cas, « des informations personnelles ont été scrapées et combinées à d’autres informations issues des profils de millions de personnes sur des réseaux sociaux et des plateformes de réseautage. Ces informations ont ensuite été utilisées pour construire des bases de données que les recruteurs peuvent utiliser pour présenter leurs offres d’emploi à de potentiels candidats. »

Candidats comme recruteurs ont rarement conscience que leurs informations peuvent être collectées, et surtout réutilisées, de cette manière.

• Discrimination algorithmique : la Fondation des femmes porte plainte contre Facebook

Pratiques prometteuses

La plus large partie du document de 50 pages de l’ICO consiste en un résumé des multiples cas constatés lors de ses travaux d’audit et des recommandations pratiques qu’elle a formulées. Dans le lot, elle souligne aussi plusieurs pratiques pertinentes selon les sujets étudiés. 



En termes de limitation des données, l’ICO relève par exemple le cas d’un fournisseur de système d’IA ayant construit son outil de manière à minimiser les données collectées à seulement dix ans d’historique d’emploi pour chaque candidat. Le fournisseur a par ailleurs limité les objectifs de son outil par design, en ne fournissant à chaque client qu’une version entraînée et testée sur ses propres candidats, et en ne collectant les données démographiques de ces candidats que de manière optionnelles, pour contrôler les biais de la machine.

L’ICO salue aussi les pratiques de transparence de certains fournisseurs, détaillant leur fonctionnement en ligne, ou encore les logiques de vérification humaines déployées par d’autres.

Pour construire un outil de notation de la qualité des candidatures, l’un d’entre eux a par exemple demandé à un groupe de recteurs de noter eux-mêmes différents éléments de candidatures qui seraient ensuite notés par la machine. Ces propositions formulées par des experts métier servent ensuite à vérifier la cohérence des notes proposées par la machine, pour ensuite mieux repérer les problèmes ou tendances inconnues jusque-là que la machine repère dans les données qu’elle traite.

Usage à haut risque

Dans plusieurs cas, l’ICO constate néanmoins que des fournisseurs de systèmes d’IA se qualifient à tort de « processeurs plutôt que de contrôleurs », avec pour effet « une absence de conformité avec les principes de protection des données ». « Certains ont tenté de déplacer l’intégralité de la responsabilité vers les recruteurs utilisant leurs outils », note encore l’institution.

L’intelligence artificielle appliquée au recrutement est qualifiée d’usage à « haut risque » par le règlement européen sur l’intelligence artificielle. En pratique, cela se traduit par l’obligation d’établir un système de gestion des risques qui documente l’activité du système tout au long de son cycle de vie, la soumission du système à divers tests avant sa mise sur le marché, et l’adoption de mesures de gestion des risques.

• Systèmes à haut risque, modèles à usage général : ce que dit l’AI Act en pratique


L’intelligence artificielle ne se déploie pas que du côté du recrutement : chez les candidats aussi, les outils d’automatisation de recherche, voire de candidature (aidée par de grands modèles de langage) se multiplient. Comme le souligne 404 media, cela signifie que des candidatures générées par IA se retrouvent soumises à des services dont la première ligne de tri est opérée… par d’autres modèles d’IA.