Professeur émérite d'intelligence artificielle et de robotique, Noel Sharkley estime que les algorithmes sont tellement « infectés de biais » qu'il appelle les autorités britanniques à cesser immédiatement tous ceux qui pourraient contribuer à des décisions pouvant changer des vies – en matière d'emploi, d'aide sociale ou d'immigration notamment.
Interrogé par le Guardian, le scientifique, figure de proue du mouvement contre les robots tueurs, voudrait leur appliquer la même rigueur que celle avec lesquels sont contrôlés et validés les médicaments, et les tester sur des millions ou au moins des centaines de milliers de gens pour s'assurer qu'ils ne sont pas biaisés avant tout déploiement.
Commentaires (20)
#1
En voilà une idée qu’elle est bonne, faudrait muscler un peu les règles par contre, actuellement les conflits d’intérêts sont légion.
#2
Je ne comprends pas très bien, chaque information, et donc chaque décision, est infestée de biais. On ne régule pas les journaux pour éviter leurs biais… On en est conscient, et on évite de penser que les journaux sont des sources fiables, mais sans renier leur utilité! Pour l’aide à la décision par ordinateur, c’est pareil.
On pourrait très bien appliquer le raisonnement de Noel à la politique dans son ensemble: chaque mesure devra être testée comme les médicamments, notemment celles en matière d’emploi, d’aide sociale ou d’immigration notamment. J’aime la démarche scientifique, mais j’ai un doute que cela passe.
#3
Si un algorithme peut changer une vie, il faut surtout ajouter un contrôle humain du résultat. Les tests n’y changeront rien, un contrôle par un humain en chair et en os est nécessaire.
L’algorithme doit faire remonter les indicateurs nécessaires pour permettre de contrôler son résultat.
#4
Le biais risque d’être très difficile à détecter car sur quoi “noter” ce biais ?
En effet, le si le modèle a appris à optimiser un score qui inclus la note de biais, alors elle optimisera cette note. Le modèle ne sera pas plus pas moins biaisé, elle paraîtra seulement moins biaisé.
Genre d’exemple (un peu simpliste) : on demande a une machine d’apprendre à faire une sélection de quelques candidats pour un poste parmi un liste de CV. Dans un but étique, on voudrait qu’elle ne fasse pas de distinction de sexe ou d’origine. Bêtement, on veut donc que la sélection de candidat soit représentative des CV données en entrée. La machine, très conne, va très certainement apprendre a reconnaître le sexe et l’origine des personne derrière chaque CV (si elle a les noms, c’est gratuit), va trouver ainsi les poids de chaque catégorie et enfin faire sa sélection en fonction.
#5
Ça me rappelle l’histoire d’une IA qui avait été entraînée à reconnaître des photos de chevaux, et y arrivait avec vraiment un score impressionnant avec les images d’entraînement, mais se plantait lamentablement sur des images prises au pif. Il a fallu quelque temps pour se rendre compte que l’IA s’était entraînée à reconnaître le filigrane de horsesphotos.com !
Moralité de l’histoire : on ne sait pas ce que fait une IA réellement, c’est une boîte noire. Ce serait kamikaze de lui confier des vies.
#6
Les IA vont être appelées à donner une information qui fera intervenir de très nombreux paramètres, tellement nombreux que cela dépasse les capacités humaines. Oui un journal est biaisé, mais ce n’est qu’un journal, en tant qu’être humain je peux encore m’en rendre compte (et encore, dans les sujets que je connais un tant soit peu).
Quand l’IA nous donnera une information, une “décision” faisant intervenir des paramètres complexes mixant économie, sociologie, parcours pro, santé publique et personnelle, etc… ça va être très compliqué.
Ca peut être une raison de plus d’ailleurs de limiter le recours aux IA… je ne dis pas le contraire ;-)
#7
Professeur émérite d’intelligence artificielle et de robotique, Noel Sharkley estime que les algorithmes sont tellement « infectés de biais » qu’il appelle les autorités britanniques à cesser immédiatement tous ceux qui pourraient contribuer à des décisions pouvant changer des vies – en matière d’emploi, d’aide sociale ou d’immigration notamment.
Tu remplaces “algorithmes” par “politiciens” ou “institutions” et ca fonctionne aussi…
#8
Ce serait bien d’arrêter de faire l’amalgame entre algorithme et IA.
#9
#10
#11
#12
Une IA (faible) c’est (ou donne, en fonction de ce qu’on appelle IA) un algorithme.
Contrairement aux algorithmes « classiques », on ne comprend pas comment/pourquoi l’algorithme fonctionne et on serait incapable de l’écrire nous-même, mais ça reste un algorithme.
#13
#14
#15
Cool et l’homme politique qui est encore plus biaisé , on le régule ?
#16
Encadrer les IA comme les médicaments ?
Il veut dire ne laisser sur le marché que ceux qui rapportent beaucoup de sous, et enterrer ceux qui seraient vraiment efficaces ? 🤔
#17
Toutafé, les algorithmes utilisés en “IA” n’y sont pour rien là-dedans.
" />
Le journaliste a dû simplifier, et malheureusement ça ne permet du coup pas de comprendre la nature du problème, qui est que les jeux de données utilisés pour entraîner les modèles sont eux-mêmes biaisés.
Je suppose qu’il existe parfois des solutions, notamment lorsqu’il y a un biais de sélection des données (ex : on ne prend pas assez en compte une minorité).
Mais parfois, ces données ne font que capturer les comportements passés d’êtres humains “imparfaits” et qui agissent en fonction de biais cognitifs. Dans ces cas-là, je vois pas comment faire autrement que de remplacer les modèles prédictifs entraînés sur ces données par des algorithmes classiques…mais du coup c’est plus de l’IA, et donc c’est has-been
#18
Ce genre d’algo sont pour ainsi dire que des statistiques. En particulier, l’algo va être très bon pour trouver des corrélations (c’est même ce qu’on lui demande en général), sans pour autant avoir un préjugé étique ni même les relations exacts qui existent entre les événements corrélés.
Truc con par exemple :
Dans le cadre hypothétique d’une surveillance par caméra charger de détecter les pickpockets dans la rue. L’habit ne fait pas le moine, mais la machine va très certainement laisser faire la femme caucasienne cinquantenaire habillé avec un tailleur : statistiquement ce n’est pas un profil suspect.
#19
#20
À mon avis la question essentielle est de savoir au service de qui sont ces IA.