« Les systèmes de prise de décision automatisés se généralisent dans la plus grande opacité », écrit Hubert Guillaud sur InternetActu, au sujet du deuxième rapport annuel de l’association européenne et militante Algorithm Watch sur la société automatisée.

La première édition du rapport, en 2019, soulignait que les systèmes automatisés étaient encore largement expérimentaux, qu’ils tenaient plus de l’exception plus que de la norme. Le déploiement des systèmes automatisés a depuis considérablement augmenté, et touche désormais presque tous les types d’activités humaines, notamment la distribution de services à des millions de citoyens européens et l’accès à leurs droits.

En principe, ces systèmes peuvent être utiles. « Dans la pratique cependant, nous avons trouvé très peu de cas qui ont démontré de manière convaincante un impact positif », estime l'ONG. Au point, selon InternetActu, que « la plupart des systèmes mettent les gens en danger plus qu’ils ne les protègent ».

Une technologie émerge plus que d’autres et s’impose partout : la reconnaissance faciale, qui se déploie « sans grand contrôle, et souvent en dehors de tout cadre légal, via des expérimentations à large échelle ». Pour l’association, il y a là un risque majeur pour nos sociétés démocratiques qui vise à légitimer une surveillance de masse omniprésente, constante et opaque.

L’association dénonce le manque de courage politique de l’UE, qui a par exemple abandonné l’idée d’un moratoire sur les technos de reconnaissance faciale, alors qu'il serait « nécessaire de déployer des mesures proactives, avant que les pilotes et les déploiements n’aient lieu ». Pourtant, « même dans les pays où une législation protectrice est déjà en place – comme la loi pour une République numérique de 2016 en France qui impose la transparence algorithmique –, elle n’est souvent pas appliquée ».

« Le solutionnisme technologique sert encore trop souvent de justification à l’adoption sans critique des technologies automatisées dans la vie publique. Trop souvent présentées comme des solutions, elles relèvent surtout de la magie », résume InternetActu.

« La plupart des critiques sont reléguées comme tenant du pur rejet de l’innovation, du pur luddisme, plutôt que de la nécessité démocratique d’un meilleur contrôle. Trop souvent, on demande aux gens de s’adapter aux systèmes plus qu’aux systèmes de s’adapter aux sociétés démocratiques », déplore l'ONG.