Connexion
Abonnez-vous

Et si on encadrait les IA comme les médicaments ?

Et si on encadrait les IA comme les médicaments ?

Le 16 décembre 2019 à 09h03

Professeur émérite d'intelligence artificielle et de robotique, Noel Sharkley estime que les algorithmes sont tellement « infectés de biais » qu'il appelle les autorités britanniques à cesser immédiatement tous ceux qui pourraient contribuer à des décisions pouvant changer des vies – en matière d'emploi, d'aide sociale ou d'immigration notamment.

Interrogé par le Guardian, le scientifique, figure de proue du mouvement contre les robots tueurs, voudrait leur appliquer la même rigueur que celle avec lesquels sont contrôlés et validés les médicaments, et les tester sur des millions ou au moins des centaines de milliers de gens pour s'assurer qu'ils ne sont pas biaisés avant tout déploiement.

Le 16 décembre 2019 à 09h03

Commentaires (20)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar

En voilà une idée qu’elle est bonne, faudrait muscler un peu les règles par contre, actuellement les conflits d’intérêts sont légion.

votre avatar

Je ne comprends pas très bien, chaque information, et donc chaque décision, est infestée de biais. On ne régule pas les journaux pour éviter leurs biais… On en est conscient, et on évite de penser que les journaux sont des sources fiables, mais sans renier leur utilité! Pour l’aide à la décision par ordinateur, c’est pareil.



On pourrait très bien appliquer le raisonnement de Noel à la politique dans son ensemble: chaque mesure devra être testée comme les médicamments, notemment celles en matière d’emploi, d’aide sociale ou d’immigration notamment. J’aime la démarche scientifique, mais j’ai un doute que cela passe.

votre avatar

Si un algorithme peut changer une vie, il faut surtout ajouter un contrôle humain du résultat. Les tests n’y changeront rien, un contrôle par un humain en chair et en os est nécessaire.

L’algorithme doit faire remonter les indicateurs nécessaires pour permettre de contrôler son résultat.




votre avatar

Le biais risque d’être très difficile à détecter car sur quoi “noter” ce biais ?

En effet, le si le modèle a appris à optimiser un score qui inclus la note de biais, alors elle optimisera cette note. Le modèle ne sera pas plus pas moins biaisé, elle paraîtra seulement moins biaisé.



Genre d’exemple (un peu simpliste) : on demande a une machine d’apprendre à faire une sélection de quelques candidats pour un poste parmi un liste de CV. Dans un but étique, on voudrait qu’elle ne fasse pas de distinction de sexe ou d’origine. Bêtement, on veut donc que la sélection de candidat soit représentative des CV données en entrée. La machine, très conne, va très certainement apprendre a reconnaître le sexe et l’origine des personne derrière chaque CV (si elle a les noms, c’est gratuit), va trouver ainsi les poids de chaque catégorie et enfin faire sa sélection en fonction.

votre avatar

Ça me rappelle l’histoire d’une IA qui avait été entraînée à reconnaître des photos de chevaux, et y arrivait avec vraiment un score impressionnant avec les images d’entraînement, mais se plantait lamentablement sur des images prises au pif. Il a fallu quelque temps pour se rendre compte que l’IA s’était entraînée à reconnaître le filigrane de horsesphotos.com !

Moralité de l’histoire : on ne sait pas ce que fait une IA réellement, c’est une boîte noire. Ce serait kamikaze de lui confier des vies.

 

votre avatar

Les IA vont être appelées à donner une information qui fera intervenir de très nombreux paramètres, tellement nombreux que cela dépasse les capacités humaines. Oui un journal est biaisé, mais ce n’est qu’un journal, en tant qu’être humain je peux encore m’en rendre compte (et encore, dans les sujets que je connais un tant soit peu).



Quand l’IA nous donnera une information, une “décision” faisant intervenir des paramètres complexes mixant économie, sociologie, parcours pro, santé publique et personnelle, etc… ça va être très compliqué.



Ca peut être une raison de plus d’ailleurs de limiter le recours aux IA… je ne dis pas le contraire ;-)

votre avatar



Professeur émérite d’intelligence artificielle et de robotique, Noel Sharkley estime que les algorithmes sont tellement « infectés de biais » qu’il appelle les autorités britanniques à cesser immédiatement tous ceux qui pourraient contribuer à des décisions pouvant changer des vies – en matière d’emploi, d’aide sociale ou d’immigration notamment.







Tu remplaces “algorithmes” par “politiciens” ou “institutions” et ca fonctionne aussi… <img data-src=" />

votre avatar

Ce serait bien d’arrêter de faire l’amalgame entre algorithme et IA.

votre avatar







Qruby a écrit :



Je ne comprends pas très bien, chaque information, et donc chaque décision, est infestée de biais. On ne régule pas les journaux pour éviter leurs biais… On en est conscient, et on évite de penser que les journaux sont des sources fiables, mais sans renier leur utilité! Pour l’aide à la décision par ordinateur, c’est pareil.



On pourrait très bien appliquer le raisonnement de Noel à la politique dans son ensemble: chaque mesure devra être testée comme les médicamments, notemment celles en matière d’emploi, d’aide sociale ou d’immigration notamment. J’aime la démarche scientifique, mais j’ai un doute que cela passe.





Yep!



En plus il faudrait (re)définir biais. Pour le scientifique un biais est une erreur.

Si un algo “discrimine” les femmes ou les musulmans ou les roux, et que c’est justifié mathématiquement (ça arrivera forcément sur des milliers de décisions à prendre), ce n’est pas un biais scientifique… mais un problème moral. La machine peut nous aider énormément pour traiter de la donnée et obtenir des indicateurs, mais elle a ses limites qui sont justement celles de sa recherchée infaillibilité.

Veut-on éviter seulement les erreurs scientifiques ou aussi faire preuve de justice et de moralité dans la société…?


votre avatar







recoding a écrit :



Yep!



En plus il faudrait (re)définir biais. Pour le scientifique un biais est une erreur.

Si un algo “discrimine” les femmes ou les musulmans ou les roux, et que c’est justifié mathématiquement (ça arrivera forcément sur des milliers de décisions à prendre), ce n’est pas un biais scientifique… mais un problème moral. La machine peut nous aider énormément pour traiter de la donnée et obtenir des indicateurs, mais elle a ses limites qui sont justement celles de sa recherchée infaillibilité.

Veut-on éviter seulement les erreurs scientifiques ou aussi faire preuve de justice et de moralité dans la société…?





Je pense qu’il est question des erreurs scientifiques ici, car les algo de machine learnings apprennent sur des jeux de données biaisés, et font des prédictions (ou optimisations) sur des données réelles. Il y a une grande méconnaissance du fonctionnement de ces algorithmes, du coup il y a une crainte de ce qu’ils font. Cependant, c’est surtout ce sur quoi ils se basent qui est biaisé. Tout comme un journal qui a des sources et qui traite l’information à partir de sources parcellaires.


votre avatar







M’enfin ! a écrit :



Les IA vont être appelées à donner une information qui fera intervenir de très nombreux paramètres, tellement nombreux que cela dépasse les capacités humaines. Oui un journal est biaisé, mais ce n’est qu’un journal, en tant qu’être humain je peux encore m’en rendre compte (et encore, dans les sujets que je connais un tant soit peu).



Quand l’IA nous donnera une information, une “décision” faisant intervenir des paramètres complexes mixant économie, sociologie, parcours pro, santé publique et personnelle, etc… ça va être très compliqué.



Ca peut être une raison de plus d’ailleurs de limiter le recours aux IA… je ne dis pas le contraire ;-)





Il y a plein de chose qui dépassent les capacités humaines et qu’on comprend très bien, ce n’est pas là le problème. Et pour filer la métaphore du journal, je doute qu’un humain moyen soit capable de comprendre l’entièreté du média auquel il est soumit (financement, objectifs, RP, edito, politique…). Les systèmes humains sont bien plus complexes que les IA, c’est juste plus rassurant car l’erreur est humaine, mais dans les fait c’est bien moins compréhensible.



Toutes les décisions politiques actuelles font intervenir des paramètres complexes qu’aucun être humain n’est raisonnablement en mesure d’appréhender. Que le système soit humain ou informatique, le croire infaillible est idiot. C’est donc une question d’éducation plus que de surveillance. Peut être qu’il y aura une période transitoire où des idiots prendront des décisions sur des algos biaisés, mais à moyen terme ça sera marginal.


votre avatar

Une IA (faible) c’est (ou donne, en fonction de ce qu’on appelle IA) un algorithme.

Contrairement aux algorithmes « classiques », on ne comprend pas comment/pourquoi l’algorithme fonctionne et on serait incapable de l’écrire nous-même, mais ça reste un algorithme.

votre avatar







Mihashi a écrit :



Une IA (faible) c’est (ou donne, en fonction de ce qu’on appelle IA) un algorithme.

Contrairement aux algorithmes «&nbsp;classiques&nbsp;», on ne comprend pas comment/pourquoi l’algorithme fonctionne et on serait incapable de l’écrire nous-même, mais ça reste un algorithme.





Exactement et donc un algorithme n’est pas forcément une IA.

Donc quand on parle des algorithmes en général sans préciser qu’on parle d’IA, ça n’a pas de sens.


votre avatar







Qruby a écrit :



Je pense qu’il est question des erreurs scientifiques ici, car les algo de machine learnings apprennent sur des jeux de données biaisés, et font des prédictions (ou optimisations) sur des données réelles. Il y a une grande méconnaissance du fonctionnement de ces algorithmes, du coup il y a une crainte de ce qu’ils font. Cependant, c’est surtout ce sur quoi ils se basent qui est biaisé. Tout comme un journal qui a des sources et qui traite l’information à partir de sources parcellaires.



Oui c’est vrai. <img data-src=" />

D’ailleurs on était étonnés dans ma famille quand Google trad ne fonctionnait qu’avec moi pour un mot allemand (on a essayé plein de fois). Alors même que je suis celui qui parle le moins bien dans cette langue (je la parle pas en fait, et je suis assez mauvais en langues étrangères). Au bout d’un moment j’ai suspecté qu’en tant qu’homme/blanc/quarantenaire/jesaispasquoi je correspondait mieux que les autres à la voix “moyenne” attendue.

Ça reste anecdotique (donc assez pertinent), mais pédagogiquement c’était intéressant <img data-src=" />



Reste que le jugement ce qu’est un jeu de données biaisé ou pas risque d’être délicat pour certains cas.


votre avatar

Cool et l’homme politique qui est encore plus biaisé , on le régule ?

votre avatar

Encadrer les IA comme les médicaments ?

Il veut dire ne laisser sur le marché que ceux qui rapportent beaucoup de sous, et enterrer ceux qui seraient vraiment efficaces ? 🤔

votre avatar

Toutafé, les algorithmes utilisés en “IA” n’y sont pour rien là-dedans.



Le journaliste a dû simplifier, et malheureusement ça ne permet du coup pas de comprendre la nature du problème, qui est que les jeux de données utilisés pour entraîner les modèles sont eux-mêmes biaisés.



Je suppose qu’il existe parfois des solutions, notamment lorsqu’il y a un biais de sélection des données (ex : on ne prend pas assez en compte une minorité).



Mais parfois, ces données ne font que capturer les comportements passés d’êtres humains “imparfaits” et qui agissent en fonction de biais cognitifs. Dans ces cas-là, je vois pas comment faire autrement que de remplacer les modèles prédictifs entraînés sur ces données par des algorithmes classiques…mais du coup c’est plus de l’IA, et donc c’est has-been <img data-src=" />


votre avatar

Ce genre d’algo sont pour ainsi dire que des statistiques. En particulier, l’algo va être très bon pour trouver des corrélations (c’est même ce qu’on lui demande en général), sans pour autant avoir un préjugé étique ni même les relations exacts qui existent entre les événements corrélés.



Truc con par exemple :

Dans le cadre hypothétique d’une surveillance par caméra charger de détecter les pickpockets dans la rue. L’habit ne fait pas le moine, mais la machine va très certainement laisser faire la femme caucasienne cinquantenaire habillé avec un tailleur : statistiquement ce n’est pas un profil suspect.

votre avatar







Groupetto a écrit :



Toutafé, les algorithmes utilisés en “IA” n’y sont pour rien là-dedans.



Le journaliste a dû simplifier, et malheureusement ça ne permet du coup pas de comprendre la nature du problème, qui est que les jeux de données utilisés pour entraîner les modèles sont eux-mêmes biaisés.



Je suppose qu’il existe parfois des solutions, notamment lorsqu’il y a un biais de sélection des données (ex : on ne prend pas assez en compte une minorité).



Mais parfois, ces données ne font que capturer les comportements passés d’êtres humains “imparfaits” et qui agissent en fonction de biais cognitifs. Dans ces cas-là, je vois pas comment faire autrement que de remplacer les modèles prédictifs entraînés sur ces données par des algorithmes classiques…mais du coup c’est plus de l’IA, et donc c’est has-been <img data-src=" />





Certains algorithmes peuvent être optimisés en prenant en compte les différences de prévalence entre la population réelle et celle sur laquelle ils ont été entrainés. Par contre, cela réduit leur efficacité, et du coup leur intérêt. D’autres peuvent enfin s’entrainer par la pratique, sans se baser sur des données précédentes, dans ce cas là, ils sont très sensibles aux premiers utilisateurs (donc personnes qui ont les moyens d’accéder à la technologie).



&nbsp;Mais je dirais que c’est également le cas pour beaucoup de systèmes humains, par exemple la médecine a d’abord été pratiqué pour des riches, avant d’être accessible à de plus larges populations dans les pays qui en avait les moyens, et donc de ce fait a favorisé certaines populations.



Autre exemple, les économistes sont principalement des professeurs d’Université bien payés (surtout aux USA), et les modèles qui produisent (qui finissent par gouverner nos vies) sont tous teintés d’un certain biais, souvent en leur faveur.


votre avatar

À mon avis la question essentielle est de savoir au service de qui sont ces IA.&nbsp;

Et si on encadrait les IA comme les médicaments ?

Fermer