Un nouveau système algorithmique prompt aux erreurs a été épinglé aux Pays-Bas. Ce 12 février, le ministère de la Justice néerlandais a publié un rapport relatif au système utilisé par les services de probation Reclassering Nederland pour évaluer le risque de récidive chez les détenus déjà condamnés comme chez les personnes en détention provisoire.

L’audit fait partie intégrante d’un travail plus large sur les systèmes algorithmiques utilisés à travers l’administration, lui-même initié à la suite de deux scandales relatifs à des outils biaisés.

Pendant près d’une dizaine d’années, l’administration fiscale néerlandaise a en effet recouru à un système qui a demandé des sommes faramineuses et indues à des familles généralement ciblées pour leurs origines étrangères. De même, des systèmes de détection de fraude aux prêts étudiants accusaient beaucoup plus fréquemment les étudiants issus de minorités ethniques, donc à leur faire subir plus fréquemment des contrôles.

• Droit

  Algorithme de la CAF : des organisations européennes rejoignent la Quadrature du Net

  Droit

  Mardi 20 janvier 2026 à 14h41 20/01/2026 14h41

  9

Consommation de drogues et problématiques psychologiques non pris en compte

Dans le cas présent, le système algorithmique incriminé a été utilisé pour traiter de l’ordre de 44 000 cas par an, et aider à évaluer si ces personnes risquaient plus ou moins de récidiver.

Un tel cas d’usage rappelle les premiers grands travaux sur les travers que ce type d’outils créent sur le terrain en termes d’égalité devant la loi. En 2016, le journal ProPublica publiait ainsi une enquête au long cours démontrant qu’aux États-Unis le système COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) qualifiait beaucoup plus fréquemment les suspects noirs de risque de récidives que les suspects blancs, à tort.

Dans le cas néerlandais, le système, nommé OxRec, fournit de mauvais résultats dans 20 % des cas et ne correspond pas aux standards gouvernementaux d’utilisation. Depuis 2018, les formules normalement utilisées pour évaluer les personnes déjà condamnées et suspectes ont été inversées, la consommation de drogues n’est pas correctement prise en compte, et les problématiques psychologiques graves ne sont pas prises en considération, relève l’enquête administrative. Le système a par ailleurs été entraîné sur d’anciennes données issues de prisons suédoises, et non sur la population des prisons néerlandaises.

• Société

  Australie : la commission royale étrille les responsables du système de robot-dette

  Société

  Lundi 17 juillet 2023 à 09h49 17/07/2023 09h49

  19

Pause avant remise en service

Suite à ce rapport, Reclassering Nederlands a stoppé l’utilisation d’OxRec. Le ministère de la Justice néerlandais a en revanche expliqué « chercher à le remettre en service dès que toutes les améliorations auront été déployées, car une utilisation responsable de cet algorithme contribue à l’efficacité et à la cohérence des conseils en termes de probation », souligne sur LinkedIn Alexander Laufer, chercheur auprès d’Amnesty International.

Pour les enquêteurs du ministère de la Justice, le plus gros risque que posent les dysfonctionnements du système est en effet que des probabilités de récidive aient été sous-évaluées.

En 2020, des scientifiques avaient quant à eux émis une alerte sur l’usage des codes postaux dans OxRec, expliquant que cela pouvait mener de manière indirecte à des logiques de profilage ethnique. D’après la directrice du service de probation Jessica Westerik, ces alertes avaient été prises « très au sérieux », mais les services avaient conclu qu’il existait suffisamment de preuves scientifiques pour considérer que l’adresse et les revenus étaient des paramètres.

Alexander Laufer, lui, rappelle que la prédiction de la récidive est « une des applications les plus controversées » du machine learning, et que le consensus scientifique estime désormais « (1) que ça ne fonctionne pas et (2) que ç’a des conséquences discriminatoires sévères et imprévisibles », y compris en termes d’accès à un procès équitable.

• IA

  Peut-on corriger les biais des algorithmes ?

  IA

  Lundi 06 mars 2023 à 16h39 06/03/2023 16h39

  24