L'Agence des droits fondamentaux de l'Union européenne a publié récemment un rapport sur les biais des algorithmes, notamment quand ils sont utilisés pour la modération de contenus et la police prédictive.

Dans un rapport du 8 décembre (PDF), l'Agence des droits fondamentaux de l'Union européenne (Fundamental Rights Agency ou FRA) a mis en place deux études de cas sur les biais algorithmiques. L'une se penche sur leur amplification par les algorithmes dans les dispositifs de police prédictive. L'autre analyse les biais ethniques et de genre des outils utilisés pour détecter les discours de haine en ligne. Biais qui les conduisent parfois à des résultats absurdes menant à la discrimination de femmes ou de certaines catégories de personnes.

Le rapport affirme que l'utilisation de l'Intelligence artificielle peut toucher beaucoup de droits fondamentaux. Les rapporteurs prennent notamment l'exemple d'algorithmes biaisés par le service des impôts néerlandais en 2020 qui ont conduit à l'accusation de fraude de plus de 26 000 parents sur leurs demandes d'allocations de garde d'enfants. Beaucoup de ces parents avaient un passé d'immigration.

La FRA explique que bien qu'il y ait depuis récemment un éclairage sur le problème des biais dans les algorithmes, « Malgré l'attention accrue portée récemment au problème du biais dans les algorithmes, ce domaine ne dispose toujours pas d'une base de preuves tangibles qui s'appuie sur des évaluations techniques des algorithmes en pratique et de leurs résultats ».

C'est dans cette perspective que l'agence s'est penchée sur ces deux études de cas.

Boucle de rétroaction et police prédictive

La FRA explique que les algorithmes de machine learning peuvent créer une boucle de rétroaction, c'est-à-dire qu'en faisant des prédictions, ils peuvent influencer ce qu'il se passe sur le terrain et ensuite renforcer dans le même sens leurs prédictions.

Elle ajoute que ces rétroactions peuvent être particulièrement problématiques sur les outils de police prédictive. « Par exemple, si le système « détecte » plus de crimes dans une zone A et décide d'y envoyer plus de patrouilles, encore plus de crimes y seront enregistrés, et les données correspondantes à cette zone seront alimentées dans le système, renforçant la « croyance » du système qu'il y a plus de crime dans la zone A », explique le rapport.

Et la rétroaction peut « s'emballer » et finir par recommander une seule solution en surestimant certaines données. Ce qui, dans un système de police prédictive, peut se caractériser par l'envoi de troupes de police toujours dans les mêmes quartiers, avec un effet de sur-représentation policière dans ceux-ci pendant que d'autres quartiers auraient une sous-représentation policière.

Deux simulations de police prédictive

La FRA a conduit deux simulations de police prédictive utilisant du machine learning qui montrent que ces boucles de rétroaction peuvent se mettre en place dans de tels systèmes.

La première simulation compare l'utilisation d'un modèle probabiliste et le machine learning dans seulement deux quartiers. Les chercheurs de la FRA constatent que les boucles de rétroaction n'arrivent que lorsqu'un algorithme de machine learning (une classification naïve bayésienne, en l'occurrence) est utilisé.

Crédits : FRA

Après avoir analysé les boucles de rétroaction de ce système, ils concluent que la distribution initiale des patrouilles est un facteur significatif de leur formation. Les chercheurs observent aussi que les biais internes des modèles de machine learning accélèrent ces boucles de rétroaction.

Ces biais jouent aussi un rôle important dans leur formation quand le nombre de crimes reportés est le même dans les différents quartiers. Mais elles peuvent aussi se produire quand le risque de crimes avec une présence policière est différent d'un quartier à un autre. Les chercheurs de la FRA soulignent qu'on peut observer ce phénomène dans la situation réelle de Bogota, en Bolivie.

La deuxième simulation, que les chercheurs ont appelée « Earthquake policing model », commence avec 25 quartiers qui ont le même taux de criminalité et le même risque de crimes alors que la police y est présente, mais dont l'historique de criminalité diffère.

Après 365 jours, le taux estimé des cinq quartiers où l'historique était le plus haut a augmenté alors que celui des autres a diminué et que le taux réel est resté le même. Les chercheurs soulignent que cette simulation montre l'importance de l'historique de criminalité dans ce genre de boucle de rétroaction des logiciels de police prédictive.

Préjugés ethniques et de genre dans la détection de discours de haine

Se penchant sur les préjugés ethniques et de genre dans la détection de discours de haine, les chercheurs de la FRA ont développé puis entrainé trois algorithmes de détection (du relativement simple à un modèle plus avancé) sur trois langues différentes (anglais, allemand et italien) en utilisant des bases de données accessibles publiquement et contenant des textes étiquetés comme haineux ou non.

Les chercheurs font déjà remarquer que la définition d'un discours haineux n'est pas la même pour tout le monde et que cet étiquetage est encore une autre source de biais des algorithmes de détection des discours haineux. En 2019, un groupe de chercheurs résumait ce problème en quatre mots : « garbage in, garbage out » ou « foutaises en entrée, foutaises en sorties » dans la langue de Molière. 

Ils ont ensuite généré une nouvelle base de données de phrases inventées basée sur des sources de tests de biais déjà existantes, incluant des phrases neutres ou positives, des pronoms genrés en allemand et en italien, ainsi que les versions féminines et masculines de différents mots.

Puis ces chercheurs ont regardé les faux positifs et les faux négatifs que les algorithmes de détection généraient. Le taux de faux positifs indique le potentiel de censure injustifiée, tandis que le taux de faux négatifs indique la part des commentaires jugés offensants par les humains qui ne sont pas pris en compte par l'algorithme.

Leur constat est qu'il y a des différences considérables entre la prédiction de la qualification de haine d'un discours à propos des différents groupes ethniques et nationalité dans l'ensemble des données de test. Cette variation touche en retour la probabilité qu'une phrase soit qualifiée de haineuse ou non. Or, les décisions des modèles sont basées sur ce genre de seuils.

Si dans leurs conclusions, les chercheurs expliquent que leurs résultats ne peuvent pas être généralisés à tous les algorithmes de détection de ce genre, ils affirment qu'on peut y voir quand même certains motifs redondants. Ils font aussi remarquer que certains préjugés n'amènent pas forcément à de la discrimination.