Le Tribunal constitutionnel fédéral d'Allemagne (Bundesverfassungsgericht) se prononce contre l'utilisation du logiciel de Palantir utilisé par la police du land de la Hesse et envisagé par celle de Hambourg, explique Euractiv.
La Société allemande pour les droits civiques (Gesellschaft für Freiheitsrechte, GFF) avait porté plainte contre les possibilités de surveillance accordées par la loi de ces länder.
Depuis 2017, la police du land de la Hesse utilisait un logiciel de Palantir nommé « Hessendata » permettant, en utilisant les données qu'elle récoltait elle-même, de mettre en place un dispositif de police prédictive. Ce n'était pas encore le cas dans le land de Hambourg, mais une loi dans ce sens y avait été votée.
Selon le tribunal, la police de la Hesse a utilisé le logiciel des milliers de fois.
Le système a été jugé inconstitutionnel, car il violait le droit à la vie privée de façon disproportionnée. Le tribunal ouvre néanmoins une porte à des systèmes de ce type qui seraient utilisés pour protéger la vie, l'intégrité physique ou la liberté de la personne.
Le responsable juridique de la GFF, Bijan Moini, a déclaré : « Aujourd'hui, le Tribunal fédéral a interdit à la police de regarder dans une boule de cristal et a formulé des directives strictes pour l'utilisation de logiciels de surveillance dans le travail de la police. C'était important car l'automatisation de la surveillance n'en est qu'à ses débuts. »
Commentaires (13)
#1
Je trouve que ça manque d’informations sur les données qui étaient récupérées, utilisées pour formuler ces prédictions. Et dans quel cadre celles ci étaient utilisées ? Est-ce qu’il y a eu des arrestations, quels étaient les raisons évoquées, etc ?
#2
Ils devraient revoir Minority Report histoire de se rappeler que l’erreur est possible dans les prédictions, aussi fiables soient elles.
#2.1
Je ne l’ai pas lu, mais je crois que dans le bouquin ça tourne plus autour de la prophétie auto-réalisatrice
Ce que ce genre d’outils peut avoir.
Les criminels potentiels seraient plus ciblés, ce qui pourrait avoir un impact sur leur vie (plus de contrôles, …), ce qui pourrait les pousser à la marge de la société et enfin les amener à commettre un délit.
Je vais peut être un peu loin, mais c’est un peu l’effet Hans le Malin
#3
Toujours le même débat: logique systémique vs logique individualiste - le bien du plus grand nombre n’est pas le meilleur pour chacun.
#3.1
En aucun cas, le bien commun ne passe par la surveillance irraisonnée de tout le monde.
Au état unis, la police a utiliser ce genre de logiciel prédictif qui a eu des mauvaises conséquences bien réelles sur des personnes bien réelles.
Il faut arrêter d’accepter plus de surveillance pour “plus de sécurité”, ça ne marche pas !
#4
Tout à fait. Tout comme au Danemark pour la gestion du placement d’enfant sil me semble.
Ou en Chine avec le permis citoyen à points…
Le tribunal Allemand n’a pas pris cette décision au hasard: je pense que vu les récents incidents liés à ce genre de techno, ils ont aussi pris en compte le risque que cela fait peser sur les gens et l’insitution.
#5
Il y a certainement aussi un gros effet culturel : le traumatisme allemand sur la dérive d’un système autoritaire est encore bien ancré. N’empêche que j’aimerais bien avoir plus d’info sur les données utilisées et surtout ce qu’ils prédisent.
#6
Ça semble effectivement compliqué de trouver des infos. Le mieux c’est l’article wikipedia, mais il n’y a pas de détails.
Je pense que ça peut aider d’essayer de trouver des infos sur le fonctionnement de GOTHAM de la société Palantir (non ce n’est pas une blague)
Ça semble utiliser une “IA” pour traiter les données et suggérer aux policiers les zones à surveiller et autre.
Ça semble également indiquer si une personne est à risque de commettre un crime ou pas
https://www.reuters.com/article/europe-tech-police-idINL8N2R92HQ
En sois, l’IA ne s’est pas trompée, mais la question (qui je suppose n’aura pas de réponse) est de savoir si le crime aurait été commis si l’IA ne l’avait pas “prédit”
Globalement on retrouve tous les biais des IA, elles exaspèrent les données qu’elles reçoivent.
C’est pas forcément pire qu’un humain (toutes proportions gardées). SI on me demande d’analyser des données je vais répondre que les policiers doivent patrouiller les zones où il y a le plus de crimes.
Les policiers vont donc trouver plus de crimes dans ces zones, donc il faudra patrouiller plus, … (je simplifie énormément).
#6.1
Le problème c’est que c’est comme cela que l’on forme des ghettos.
On enferme les habitants de certains quartiers dans une réputation (plus ou moins justifiée).
D’où l’idée des CV anonymes pour promouvoir la diversité dans les processus de recrutement.
#7
En soit, est-ce vraiment un mal ?
Je m’explique.
Tu as une patrouille de police à positionner.
Vaut-il mieux la positionner à un endroit où il y a peu de crimes et de fait ils ne trouverons rien ?
Ou dans un ghettos où ils vont trouver des crimes à la pelle ?
Quelle est la meilleure solution pour la ville ?
En terme d’efficacité, c’est mieux de la mettre dans le ghetto…
Après, je suis bien conscient par contre de l’effet pernicieux peut avoir :
Regardez la quantité de crimes. Olala, ca augmente, il faut plus de moyen (et donc on en trouvera encore plus). et en plus, la population aura peur, car trop de crime… (tout en pointant du doigt les endroits où ce crime est “le plus fort”…
Le problème vient donc plus de la perception qu’en a la société (comme dit FrançoisA, le ghetto, même si injustifié) que d’une efficacité brute, je trouve.
Par contre, je ne cautionne vraiment pas l’aspect prédictif qui est évoqué dans l’article
#8
Le problème majeur, à mes yeux, sur l’entraînement des IA, reste que cela peut être totalement partial.
Dans ce contexte, ça reviendrait à prédire une action policière pour contrer une action qui dénonce des injustices ou autres : illégitime d’un côté, nécessaire de l’autre. Un cas-exemple extrême, certes, mais aujourd’hui j’arrive malheureusement à me dire que ça devient possible.
Et on sait bien que les palantirs ont été perverti par Sauron, il ne faut pas les utiliser.
#9
Tout comme il avait été interdit pour la police anglaise de mettre en place des “honeypots”… comme par exemple un laptop en évidence sur un siege passager ou une plage arrière de voiture (portes verrouillées) dans des quartiers un peu mal famés notamment…
Bref, le juge avait déclaré que c’était un peu trop “pousser au crime justement”….
#10
L’idée que je voulais exacerber, c’est que si on met les policiers là où on trouve des crimes, on finira par les mettre tous au même endroit, tout simplement par ce qu’il n’y aura plus de policiers ailleurs (donc plus de crimes … détectés ailleurs).
C’est très simpliste, mais c’est pour illustrer les soucis de l’automatisation de ce genre de taches. La décision au moment T de l’iA est certainement intéressante, mais avec le temps elle va alimenter ses données et tourner en rond.
Et ça c’est sans prendre en compte le coté social du truc. Mettre rop de policiers ça risque de provoquer du ressentiment et donc “provoquer” l’esprit rebelle de certaines personnes qui vont commettre un crime alors que sans les policiers ils ne l’auraient pas commis.
Imagine la vie de quelqu’un qui se ferait contrôler à chaque fois qu’il traine avec ses potes dehors …
C’est un problème qui me dépasse un peu, mais je pense qu’il faut se rendre compte que c’est quand même compliqué et qu’en voulant faire bien (optimiser la “ressource” policière) on risque de faire pire (“provoquer” plus crimes)