Raziye Buse Çetin : « Ceux qui financent les projets d’IA les plus fous sont les mêmes qui demandent d’arrêter la recherche »
Et l'humain, dans l'IA ?
Le 25 septembre, Next a lancé Algorithmique, son podcast dédié aux enjeux de l’intelligence artificielle. Une semaine sur deux, entre chaque épisode, les abonnés pourront écouter en intégralité l’un des entretiens qui a servi à sa fabrication, ou lire sa retranscription.
Le 16 octobre à 17h05
37 min
IA et algorithmes
IA
Chercheuse indépendante en intelligence artificielle, notamment collaboratrice d'AI Forensics, Raziye Buse Çetin a aussi participé à la création de la plateforme Dreaming Beyond AI, en 2021, ou encore au projet Better Images of AI, qui vise à proposer une iconographie moins anthropomorphisée de l’intelligence artificielle, pour en rendre les enjeux techniques, sociaux, économiques ou encore politiques plus évidents.
Dans cet entretien, elle détaille la notion de biais, la manière dont l’approche majoritairement occidentale de l’intelligence artificielle oriente le développement de l’industrie et la manière dont la société s’en saisit, et s’interroge sur la place de l’humain dans les évolutions en cours.
Il reste 97% de l'article à découvrir.
Déjà abonné ? Se connecter
Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.
Accédez en illimité aux articles
Profitez d'un média expert et unique
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousRaziye Buse Çetin : « Ceux qui financent les projets d’IA les plus fous sont les mêmes qui demandent d’arrêter la recherche »
-
Comment as-tu commencé à t'intéresser à l'intelligence artificielle ? -
Tu es turque, tu vis en France et tu expliques quelquefois que ton identité d'expatriée est devenue une partie de ton travail, qu'elle a nourri tes réflexions sur l'intelligence artificielle. Peux-tu expliquer en quoi ?
-
De quelles idées parle-t-on exactement ?
-
Parlons de biais et des problèmes de représentation dans l'IA. Est-ce que tu peux expliquer ce qu'est un biais et la manière dont tu approches la question ?
-
Quand on parle de tout ça, on se rend bien compte que parler juste de biais dans la machine, en fait, c'est un peu réducteur. Parce que ce que tu es en train de dire derrière, c'est qu'il y a des dynamiques beaucoup plus larges dans la société.
-
Est-ce que tu peux nous rappeler quel est le lien entre toutes ces données que l'on cède et l'intelligence artificielle ?
-
Dans une précédente interview, je t'ai entendue parler du mythe de l'intelligence artificielle, au sens de cette espèce de créature qui serait capable de dépasser les humains et de la notion de risques existentiels qui en découlent. Tu disais que cette idée était très imprégnée de culture judéo-chrétienne. Peux-tu expliquer en quoi cette représentation qui découle d'une culture plutôt occidentale a un impact sur le monde dans sa globalité ?
-
Tu viens de commencer à les aborder, mais est-ce que tu pourrais détailler les pistes d'action dans le domaine de l'intelligence artificielle qui te semblent les plus intéressantes ?
-
Tu as travaillé avec des artistes, notamment sur les liens entre l'art, l'intelligence artificielle et la critique de cette même I.A. Peux-tu nous expliquer ce que l'art peut apporter à toutes ces réflexions ?
Commentaires (30)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 16/10/2024 à 17h36
Je ne l'ai pas lu mais pour ma part, je préfèrerais qu'un article vraiment trop long comme celui-ci soit coupé en 2. Même si c'est pour les sortir sur des jours différents.
Ce n'est que mon point de vue. Qu'en pensez-vous ?
Modifié le 16/10/2024 à 18h49
Moi, j'ai lu et c'est un ensemble pas facile à découper. Il y a des longueurs, mais je pense que c'est dû au format initial : une interview orale.
Le 16/10/2024 à 20h06
Le 17/10/2024 à 08h18
Comme le dit Fred 42, le nouveau format, c'est plutôt l'audio.
On propose une transcription des entretiens parce que plusieurs d'entre vous ont dit préférer le texte... mais comme je pars de la transcription automatique de ce qui est disponible en audio, c'est long et parfois plus alambiqué qu'une interview pensée pour l'écrit (exercice pour lequel on sélectionne plus les citations, précisément pour faciliter la lecture).
Le 17/10/2024 à 12h29
Pour ma part, le temps n'est pas extensible et je ne peux pas passer plus de temps que je ne le fais aujourd'hui sur de l'actualité sans rogner sur une autre activité.
Ce n'est pas une critique.
Le 17/10/2024 à 22h43
L’entretien est super intéressant, et en audio uniquement je ne l’aurais pas écouté.
Le 16/10/2024 à 19h22
Le 16/10/2024 à 21h27
J'ai été ému par le parcours de cette personne d'origine Turque qui s'est retrouvé confrontée à des stéréotypes, à tout un imaginaire terriblement banal, limitant et enfermant.
Franchement bravo à l'intervenante pour son long travail de fond qui ne date pas d'hier, et bravo à Mathilde Saliou pour la pertinence de ses questions, et pour son travail émérite sur tous les épisodes de ce podcast !
Le 16/10/2024 à 22h08
J'ai écouté les deux il y a quelques jours, et ils sont super intéressants. Je me réjouis d'entendre la suite :)
Le 16/10/2024 à 23h08
À mon sens, l'IA est un aboutissement d'une vision du monde rationnelle et matérialiste, plutôt occidentale (même si par ex. les chinois le sont aussi aujourd'hui).
Tout n’est que matière, même le cerveau humain, et on peut en tirer les conséquences.
Modifié le 17/10/2024 à 03h19
Pourrais-t-on imaginer des IA pour corriger les biais des IA ?
Exemple : tu as une IA principale, qui est la seule interfacée avec le prompt. Connectée à elle, tu as genre trois quatre voire cinq IA supplémentaires, dont le seul but dans la vie est d'analyser et de prévenir les biais de l'IA principale.
Chacune des IA secondaires est spécialisée dans un type bien précis de biais, et ne fais que ça. Par exemple l'une ne fait qu'analyser les dérives de type "stéréotypes racistes / antisémites / coloniaux / xénophobes" . L'autre les biais liés au genre. Un autre, tout ce qui a trait aux religions et aux biais idéologiques. Un autre, les biais liés à l'age, au poids, à la taille, à l'accent...
(Note : on pourrais très bien remplacer "biais" par "discriminations", tellement les décisions d'un algorithme d'embauche par exemple, peuvent avoir un fort impact sur la vie des gens)
Donc, dans les faits, les IA secondaires agiraient comme autant de "filtres correcteurs" qui modifieraient, amélioreraient la réponse finale de l'IA principale.
Il faudrait bien sûr entraîner ces IA secondaires avec des données pertinentes, des exemples précis de discours discriminant et de stéréotypes susceptibles de teinter les résultats dans un sens ou dans un autre.
Le but du jeu ne serait pas de rendre l'IA principale tout d'un coup "super-humaniste" ou encore "extra-libérale" (LOL), mais de la rendre enfin neutre, non biaisée, non aveuglée par des stéréotypes stupides et régressifs qui n'ont plus de sens en 2024.
Le 17/10/2024 à 07h34
Modifié le 17/10/2024 à 13h12
Dit autrement, les IA secondaires seraient un peu comme des "assistant.e.s de direction" ou des "conseiller.es ministériel.le.s" : iels ne prendraient aucune vraie décision, mais simplement éviteraient à l'IA principale ("Le.la Directeurice en Chef.fe") de dériver du sujet, de délirer, de dire ou de commettre les pires conneries qui soient.
Dans ma tête, tel que je vois le truc, les "IA secondaires" seraient des algos beaucoup plus simples et moins demandeurs de ressources qu'une IA complète.
Le 17/10/2024 à 14h01
Tu peux t'amuser à faire ça avec Ollama par exemple.
Le 17/10/2024 à 09h18
Inutile de survendre l'argument, l'époque ne fait rien à l'affaire (quand on est c✱✱, on est c✱✱, comme disait un chanteur moustachu)
Le 17/10/2024 à 16h39
Si le texte d'origine est neutre, mais que l'IA secondaire décrète la présence d'un biais ? Tu vas corriger le texte initial qui n'aurait pas du être corrigé, introduisant potentiellement un biais qui n'existait pas.
Au final, cela ne change pas grand chose, d'autant plus que les notions de biais et de neutralité peuvent être très subjectives... et donc soumises à des biais !
Le 17/10/2024 à 16h45
Personnellement, comme je l'ai déjà exprimé ici, je considère qu'avoir des biais n'est pas un problème en soi (après tout, la ligne éditoriale de Next sur l'IA est elle aussi biaisée car très portée sur le négatif). La neutralité absolue est une chimère qui n'existe pas, et quand on parle d'un moteur statistique (ce qu'est le ML), il y a forcément une part de poids dans les décisions qui influencent le résultat.
Ce qu'il faut, c'est simplement être conscient de ces biais et avoir un regard critique sur le résultat de la machine. Dans la proposition de @DantonQ-Robespierre , l'implémentation pourrait être des modèles identiques mais paramétrés de manière différente. Ou fine-tuned différemment. Et derrière ils pourraient évaluer le résultat et fournir une température de celui-ci (c'est un cliché, c'est potentiellement faux, c'est une déformation, un manque de données en entrée, etc), c'est une chose que les LLM savent faire au même titre qu'ils peuvent évaluer la tonalité d'une phrase.
Le 17/10/2024 à 16h49
Il n'y a qu'à voir les gens parler d'hallucination quand un LMM dit une bêtise. La bêtise, ce n'est pas le LLM, c'est l'utilisateur derrière qui l'utilise sans en comprendre un minimum le fonctionnement et les limites...
Modifié le 17/10/2024 à 18h09
Typiquement, on brandit l'hallucination comme une tare alors que c'est l'une des features principales de l'IA générative. Elle génère du contenu, elle créé, et donc, elle invente. Si on veut un moteur de recherche déterministe, on prend une BDD, un index, ou alors on fait du RAG, mais on utilise pas un modèle tout seul.
Modifié le 17/10/2024 à 18h28
Ces exemples seraient non seulement pris parmi les réponses déjà données par des IA à de vraies questions d'utilisateurs lambda, mais aussi sur les réseaux sociaux, dans des forums, sur des sites d'info, de loisirs, et même parmi les avis utilisateurs de sites de vente en ligne, quelque soit leur domaine...
Bien entendu, il faudrait anonymiser et mélanger ces données autant que possible, et obtenir si possible la permission des sites concernés (et de la CNIL).
Ce qui veut dire que cette base de données ne serait pas seulement nourrie de réponses algorithmiques, mais aussi de réponses humaines, ce qui a mon sens change tout, et rendrait cette base de données d'autant plus pertinente.
Mais l'autre difficulté serait de juger ces réponses, de les sélectionner, et malheureusement seuls des humains, des vrais, seraient à même de juger ces éléments comme "pertinents" ou pas.
Et donc il faudrait que ça soit un effort collectif, public, un petit peu comme folding@home, c'est à dire qu'il y aurait une application très simple d'emploi : il suffirait d'entourer à la souris une phrase que l'on considère "pertinente" et de sélectionner (bouton droit de la souris) "envoyer à biais@home"... et voilà, la base de données est nourrie, miaaam ! 😋
EDIT : notez que je parle de "réponses", mais le message / prompt, le point de départ ayant déclenché cette réponse jugée "inappropriée" peut également être important, afin de mettre en relation ces deux types de données... du moins je crois ? (Notez bien que c'est un ignorant complet qui parle...)
EDIT 2 : Pour répondre à @fdorin : Justement, j'aimerais rendre l'IA plus accessible au public le plus large possible, y compris un public "qui ne comprends rien à rien".
C'est pour cela qu'AMHA il faudrait consolider au maximum les algorithmes, les rendre en quelque sorte "à l'épreuve des balles", de façon que même un abruti complet pourrait les consulter sans "danger"...
Le 17/10/2024 à 19h17
Si tu entraines une IA à reconnaitre des chats uniquement sur la base d'un corpus contenant des photos de chat, alors pour lui, il y aura des chats sur toutes les photos.
Le 17/10/2024 à 20h19
Un genre de boucle if-then-else qui n'autoriserait l'IA principale à répondre que si la réponse modifiée est jugée "appropriée" ?
...Mais tu as raison, pour aider l'IA principale à déterminer quelle serait la "meilleure" réponse possible il faudrait avoir à côté un "réservoir" d'exemples de réponses jugées "appropriées"...
Waouh... En fait, pour moi qui n'y connais rien du tout en programmation, c'est d'une complexité inouïe, il faudrait pouvoir démêler tout ça avec quelques règles simples, adaptées au fonctionnement profond des algos, pour qu'ils puissent en "déduire" des règles de "conduite" de base à adopter définitivement, un genre de "x lois de la robotique" façon Asimov (mais plus complètes, moins ambigues et moins susceptibles d'être allègrement contournées par un écrivain malin... ).
Le 17/10/2024 à 21h00
Modifié le 17/10/2024 à 21h33
J'en conclus qu'ils pourraient aider à diminuer la complexité de l'opération "débiaisage d'IA"... qui reste complexe malgré tout, du moins d'après ce que j'en déduis de toutes les réponses.
Mais j'ai l'impression que si personne ne s'attaque efficacement à ces biais, sources d'inégalités, cela voudrait dire qu'en fait les acteurs s'en contrefoutent : dans ce cas je ne donne pas cher de toute cette techno...
Arrivera un moment où les gens en auront marre des conséquences (qui peuvent être tragiques, lorsque par exemple il s'agit de l'attribution des minimas sociaux, des retraites, du chômage...) de ces biais, et chercheront à renverser les responsables ou facilitateurs de tout ce bazar.
Modifié le 18/10/2024 à 08h58
L'humain de base est biaisé. On a tous des référentiels sociaux et culturels qui vont orienter nos jugements, on ne peut pas le nier. Comme je disais dans un précédent message, la neutralité absolue n'existe pas. L'IA n'est pas magique, c'est un outil qui apprend sur ce qu'on lui donne à bouffer. Si on lui donne à bouffer un jeu incomplet et bourré de stéréotype (en gros, les médias de masse), il ne retiendra que ça.
Apprend toute sa vie à un gamin que le ciel est vert, il te dira que le ciel est vert. Comment pourrait-il te contredire ? Il n'a aucun référentiel sur lequel s'appuyer, la perception et le nommage des couleurs est une catégorisation culturelle, pas naturelle.
(ou plus réel : fais-le croire au père noel, il y croira jusqu'à ce qu'il ait la maturité pour arrêter - pareil pour les religions)
Les exemples cités de discriminations dans l'interview ne sont pas un problème technique mais humain. Un algo de tri de CV qui discrimine les profils estimés comme féminins ou considère qu'avoir fait du basket est une qualité requise pour le boulot signifie qu'il est de base mal branlé. Et qu'il n'a pas été testé ou insuffisamment.
Le ML c'est pas que de l'entraînement, c'est aussi de la vérification du résultat pour s'assurer qu'il produit l'attendu. Et un jeu de test ne doit pas être figé, il doit lui aussi contenir une part d'aléatoire car c'est un risque de biaiser le test !
L'image que j'aime le plus est de considérer l'IA comme un stagiaire : ça fait un travail, ça traite des tâches, mais on le contrôle et on le corrige. Qui serait assez débile pour pousser le code du stagiaire en prod sans le relire ? (beaucoup d'entreprises, en fait)
Perso, ça fait des années que je vois en entreprise des solutions techniques pour palier à des problèmes d'orga. Ces solutions miracles ne sont que des visions court terme de management qui pense uniquement par le prisme du coût et du Saint TTM.
De mon expérience, une entreprise a trois options dans un projet IT mais elle ne peut en prendre que deux :
- Rapide
- Pas cher
- De qualité
Elle opte pour les trois.
Spoiler alert : ça marche pas.
Oui, c'est cool, à court terme t'as viré deux ETP et l'ordinateur magique il s'occupe de tout. Maintenant tu dois réembaucher cinq ETP pour réparer la merde provoquée par un système en roue libre non contrôlé. Un exemple simple de la vie réelle pour constater l'inaptitude IT de nombreuses entreprises et l'incapacité à la considérer comme un moyen et non un coût : va dans un magasin et contrôle la qualité de donnée. Les prix qui diffèrent, les promotions à 0%, les libellés articles qui sont incompréhensibles, etc, tout ça témoigne d'une vision où tout est automatisé et lancé sans contrôle. L'étiquetage des prix, quand il ce n'est pas du balisage électronique, c'est juste une imprimante qui crache une planche à afficher en rayon. Ca vient de la centrale, c'est potentiellement adapté au magasin, mais derrière y'a pas de contrôle. Le réappro auto, j'ai connu une enseigne qui a fini avec trois palettes de sapins de noel dans ses magasins en janvier parce qu'elle ne vérifiait rien.
Autre exemple, les équipes de dev qui pissent de la feature au kilomètre car c'est bien, le client voit que l'appli évolue, ça fait de la valeur. La maintenance du code ? Les failles de sécu ? Les bugs invisibles qui ralentissent l'appli ? Bof, pas de budget pour ça, c'est pas une prio, on va upscale la plateforme, le silicium n'est pas cher et déployer sur du cloud c'est magique, ça marche tout seul. Et bim, TCO infra de 30k€ mensuels.
Bref, tout ceci trahi surtout des visions à court terme où l'on se dit "cool, ça va me permettre de réduire mes effectifs et baisser mes coûts". C'est le discours qu'on entend dans l'IT depuis avant ma naissance professionnelle (regarde WIndows Server c'est cool, y'a un environnement graphique, ton employé peut travailler dessus et ça t'épargne l'achat d'un ordinateur ! - témoignage véridique d'un vieux de la vieille à mes débuts sur les arguments des commerciaux Microsoft), et comme l'humain n'apprend pas de ses erreurs, il se répète encore en boucle aujourd'hui.
Modifié le 18/10/2024 à 14h45
Mais pour en revenir strictement aux algos on ne peut conclure qu'une chose de ton message : pour changer les IA, il faut changer l'humanité !
...Wahou ! Cela m'apparaît être une tâche digne d'Hercule, mais pas la version Disney ! Je crois que notre connerie n'a pas fini de tourner en orbite, un vrai fleuve sans fin, impossible à maîtriser et encore moins à arrêter...
Mais je me dit que, peut-être, les IA peuvent avoir une vertu pédagogique : en essayant de les rendre plus exemplaires (dans la mesure du possible, j'ai bien compris que c'est un travail de Titan), on provoque un choc de la pensée, on dessine l'ébauche d'un monde alternatif où nos relations seraient bien plus équilibrées, et où nous serions bien moins aveuglés par des à-priori et des préjugés...
Je sais bien, c'est un rêve, mais il faut bien commencer quelque part, n'est-ce pas ? Comme il est impossible de changer l'humanité (pour le moment... Dans le futur, qui sait, un coup de Krisper-Kas9 bien placé.... ), commençons par changer, modestement, ce qui peut être changé...
Le 18/10/2024 à 15h45
Pour le reste, c'est surtout un système très candide qui n'a pas forcément les notions de philosophie et nos comportements sociaux parce qu'elle ne sait pas ce qu'elle raconte. En gros, l'IA est au même niveau qu'un enfant qui peut dire une chose blessante sans savoir que ça l'est.
À l'inverse, dans la fiction comme celle que j'écris, j'ai tendance à concevoir l'IA (mais aussi les constructions plus simples) comme plus humaine que les humains. Notamment parce qu'elle a atteint le stade où elle devient une vraie personnalité (et reconnue comme personne physique dans l'univers que je développe, une idée inspirée de Arthur C. Clarke), ou encore le cas où les robots se fondent dans la société et que leur intégration ne fait pas débat.
(et d'ordre général, je considère que le délire du l'IA et les robots vont nous tuer, skynet, terminator comme un cliché éculé)
Le 18/10/2024 à 15h54
Modifié le 17/10/2024 à 10h51
Très bien foutue.
Modifié le 18/10/2024 à 16h04
Est-ce que les solutions "d'espoir" présentées à la fin vont pouvoir réguler, voire mitiger un fleuve algorithmique de plus en plus énoOorme et rapide, qui rapporte de plus en plus de monnaie, le tout dans un marché de plus en plus compétitif ?
Il semblerait en fait que le mur se rapproche à grand pas, et que ce mur se nomme "superintelligence"...