Un système de reconnaissance faciale exclut de nombreux chômeurs, à tort

Un système de reconnaissance faciale exclut de nombreux chômeurs, à tort

Un système de reconnaissance faciale exclut de nombreux chômeurs, à tort

Aux États-Unis, de nombreux chômeurs se plaignent depuis des mois, sur Twitter notamment, d'ID.me. Ce service est censé lutter contre l'usurpation d'identité, mais les empêche de percevoir leurs droits, déplore MotherBoard.

ID.me utilise en effet une combinaison d'informations biométriques et de documents officiels pour confirmer que les candidats sont bien qui ils prétendent être. Or, on sait que les technologies de reconnaissance faciale sont notoirement moins précises pour les femmes et les personnes de couleur.

Ainsi, en Californie, 1,4 million de comptes de bénéficiaires de chômage ont été brutalement suspendus le soir du Nouvel An, et les bénéficiaires ont été tenus de revérifier leur identité à l'aide d'ID.me. 

Or, de nombreux bénéficiaires potentiels ont dû attendre des jours voire plusieurs semaines avant d'être recontactés par un « référent de confiance » d'ID.me, de sorte de vérifier leur identité.

Au moins 21 États américains utilisent ID.me pour détecter les demandes de prestations frauduleuses. Cet engouement résulterait en partie d’une campagne médiatique agressive ayant permis à son PDG de marteler que la fraude au chômage coûterait 100 milliards de dollars aux contribuables.

Étrangement, s’étonne MotherBoard, le mois suivant, il expliquait qu'il en coûterait 200 milliards de dollars, puis 300, et enfin 400... Le PDG d'ID.me n'a pas daigné répondre à ses demandes de précisions quant aux calculs de ces estimations.

Le département américain du Travail a de son côté déclaré qu'entre mars et octobre 2020, il n'avait découvert que 5,6 milliards de dollars d'indemnités de chômage potentiellement frauduleuses. Et bien que des données plus récentes suggèrent que les pertes sont en réalité plus élevées, l'agence a estimé qu'elles seraient « de l'ordre de dizaines de milliards de dollars ».

Commentaires (10)


Je me dis qu’il faut arrêter avec l’IA. En tant que développeur, déjà, j’estime que c’est pour les feignants… à moins que l’on sache faire autrement, et dans ce cas il s’agit de gagner beaucoup de temps sur les mises au point. Dans les autre cas, les fails trop fréquents nous montrent que les développeurs n’ont aucune idée de ce que fait leur programme ou de comment il s’y prend.


Le problème c’est pas l’IA elle-même, c’est la façon dont on l’utilise.
Une IA qui donne des résultats fiables à 80% pourrait être très utile si l’organisation mise en place compense efficacement les 20% restants.



La vraie question derrière c’est qui a décidé d’utiliser cette IA pour couper les vivres à des gens et quel niveau d’information il avait sur sa fiabilité et ses biais au moment de prendre la décision.
Je ne serais pas du tout étonné que le décideur ait plus pensé à ses objectifs de réduction de budget qu’à la merde qu’il allait créer en appliquant ces règles, et ce décideur c’est probablement pas un développeur.


Zerdligham

Le problème c’est pas l’IA elle-même, c’est la façon dont on l’utilise.
Une IA qui donne des résultats fiables à 80% pourrait être très utile si l’organisation mise en place compense efficacement les 20% restants.



La vraie question derrière c’est qui a décidé d’utiliser cette IA pour couper les vivres à des gens et quel niveau d’information il avait sur sa fiabilité et ses biais au moment de prendre la décision.
Je ne serais pas du tout étonné que le décideur ait plus pensé à ses objectifs de réduction de budget qu’à la merde qu’il allait créer en appliquant ces règles, et ce décideur c’est probablement pas un développeur.


Tout à fait, seulement le problème est double.
Dans tous les cas il s’agit de créer des catégories ou des groupes.



Le pb1 est, quels sont les critères utilisés (qui, mathématiquement, s’appellent discriminants),
le pb2 est l’action que l’on décide d’appliquer en fonction de ces critères.
Déjà ce sont de vraies questions.



Et bien entendu -c’est la question posée par l’article-, il y a un pb3, ce sont les biais, c’est à dire que les catégories obtenues ne sont pas conformes à ce qui était attendu… ce dont on ne peut s’apercevoir qu’une fois le logiciel mis en usage réel.


Sur ce que je viens de dire sur les développeurs, normalement pour une reconnaissance d’image “à la main” on commence à calibrer l’échantillon :




  • extraire le visage ou l’objet

  • le zoomer pour lui donner une taille prédéfinie

  • effacer le fond

  • modifier la calibration des couleurs par exemple pour se rapprocher d’un histogramme plat, à moins que l’on décide explicitement que la teinte peut avoir une importance



Cette étape est souvent zappé en IA, puisque dès que celle-ci donne 100% de réussite sur les échantillon de tests on suppose qu’elle s’en est chargée (voire, on suppose rien du tout : où est le problème ?)… alors qu’elle s’est peut-être basée uniquement sur le fond de l’image (cas de huskys) ou sur autre chose…


100 milliards, 400 milliards de $ de fraude…



C’est un gosse le PDG en fait, moi je dis 10 000 milliards ! :D


J’ai du mal avec ce terme I.A quand même … On est encore loin des I.A et on à plutôt des I.V actuellement …



N’empêche que se retrouver deja sans emploi c’est pas forcément la joie mais en plus derrière se faire radier par un programme informatique dev à la vite ça doit être génial …


Oui, à la limite il faudrait parler de réseaux neuronaux, mais IA ça vend vachement mieux ^^


on pourrait peut être utiliser cette IA pour retrouver des électeurs dimanche prochain



ElanViolet a dit:


on pourrait peut être utiliser cette IA pour retrouver des électeurs dimanche prochain




Pour ça il aurait fallu toute la puissance combinée de Google et de la NSA


Vu les propos du PDG, “it’s not a bug, it’s a feature”.


Fermer