Intelligence artificielle : l’explicabilité, cette notion « chiante »
Paf, amende
Dans un précédent article, nous nous sommes intéressés aux gains de productivité permis par l’intelligence artificielle chez les développeurs. Cette fois, nous nous penchons sur les notions d’explicabilité et d’interprétabilité. Liées à l’éthique et peu considérées jusqu’à présent, elles ont soudain été remises en avant par l’AI Act en Europe.
Lors de la BDX I/O, qui s’est tenue le 8 novembre au Palais des Congrès de Bordeaux, nous avons discuté avec bon nombre de développeurs. Il ressortait de leurs usages un recours massif de l’IA, sous forme d’assistants divers (principalement GitHub Copilot et Claude) pour gagner du temps, particulièrement sur les tâches rébarbatives.
Le même jour se tenait, parmi les présentations auxquelles nous avons assisté, une conférence de 45 min portant sur l’explicabilité et l’interprétabilité, par Cécile Hannotte, data scientist et ingénieure en mathématiques chez OnePoint. Une thématique « iceberg », car posant de nombreuses questions sur l’IA et les usages que l’on en fait.
Une question de confiance
De quoi parle-t-on ? Pour résumer, l’interprétabilité permet de comprendre ce que fait une IA, tandis que l’explicabilité consiste à savoir pourquoi elle a pris une décision spécifique. Ces deux thèmes étaient l’objet de la conférence et sont liés à de nombreux aspects pratiques de l’IA.
Commentaires (14)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 22/11/2024 à 18h12
Le 22/11/2024 à 18h29
Le 22/11/2024 à 18h57
Modifié le 23/11/2024 à 10h58
Il faut aller vite, maintenant, tout de suite. Et c'est un mouvement qu'on rencontre partout en entreprise.
Petit feedback personnel : dans une organisation A en entreprise, plein de monde se plaint que c'est lent et lourd parce qu'il y a des process de qualité à respecter (surtout quand tu viens la fleur au fusil en espérant tout outrepasser sans rien préparer). Un scandale pour les PO car Saint TTM est impacté par tout une bureaucratie inefficace. Dans l'organisation B, on donne l'outil et l'autonomie aux projets pour qu'ils délivrent rapidement.
Constat réalisé par mon expérience sur ce genre d'organisation :
Dans A : on avait un minimum de documentation sur les produits, car le process qualité exigeait un doc d'architecture, une liste de critères de sécu, et des workflows de delivery qui intègrent des tests unitaires, qualité et sécurité (sans oublier la revue de code). Ca demandait juste un peu de préparation côté projet, mais quand on maîtrise son sujet (ce qui est rarement le cas des projets métier, hélas), ça va vite.
Dans B : pas de doc, pas de test unitaire, pas de check sécurité, un test rapide sur un bac à sable de dev et go prod. Ça délivre de la feature à tout va et dès qu'on parle de sécurité ou qu'on commence à demander comment ça marche, y'a plus personne. Dès qu'on creuse un peu sur comment ça a été fait, on hurle. Et, évidemment, quand Jean Michel Dev est parti, la boîte a perdu sa connaissance métier.
Bref, on est dans la mouvance standard du moment. Généralement, quand l'entreprise se prend un mur (souvent financier) parce que le YOLO a engendré un piratage ou un crash métier, ça fait revoir les priorités.
C'est effectivement l'une des trois méthodes de machine learning : le supervisé, le non supervisé (celui cité ici), et le renforcement. Dans le premier, on lui donne un jeu de données déjà qualifié et il apprend dessus. Dans le second, il apprend à étiqueter par lui-même. Dans le troisième, il se trouve dans l'environnement (cas des véhicules autonomes) et apprend par l'expérience avec récompense / pénalité.
Pourquoi j'y vois de la physiognomonie 2.0 ?
En tous cas, merci pour ce compte rendu. Les propos sont super intéressants :)
Le 23/11/2024 à 14h41
Je retiens cette phrase frapante d'un client : "peu importe que l'on ai crée de la dette technique inextricable si dans un mois on est plus là car on a pas avancé assez vite".
Le 23/11/2024 à 16h09
Le 25/11/2024 à 22h00
J'ai réactualisé mon CV, un bon quart du service est déjà parti.
Le 26/11/2024 à 08h10
Modifié le 23/11/2024 à 20h02
https://www.darpa.mil/program/explainable-artificial-intelligence
"Explainable Artificial Intelligence (XAI) (Archived)"
https://onlinelibrary.wiley.com/doi/10.1002/ail2.61
"DARPA's explainable AI (XAI) program: A retrospective"
---------------
"Defense Advanced Research Projects Agency (DARPA) formulated the explainable artificial intelligence (XAI) program in 2015 with the goal to enable end users to better understand, trust, and effectively manage artificially intelligent systems. In 2017, the 4-year XAI research program began. Now, as XAI comes to an end in 2021, it is time to reflect on what succeeded, what failed, and what was learned. This article summarizes the goals, organization, and research progress of the XAI program."
----------------
Et la raison est simple:
il est hors de question de payer des milliards de $ pour envoyer des systèmes autonomes (i.e non contrôlés par un être humain) faire des conneries sur un champs de bataille sans pouvoir comprendre pourquoi = la capacité de 'débriefer' une IA comme on debrieferai n'importe quel soldat ayant fait une operation speciale en ukraine par exemple :)
Donc effectivement, le besoin de précipitation et d'innovation pour briller dans les salons se heurte toujours aux exigences de personnes responsables qui n'ont pas le même sens de l'humour que les (grand ?) patrons de la tech :)
Le 23/11/2024 à 21h37
1 - Une IA sera toujours une boîte noire selon moi, sinon il faut tester tous les scénarios possibles et les réponses obtenues, ce qui est rapidement impossible.
2 - Lire qu'une décision peut être prise par une IA me fait bondir. Une IA peut apporter de l'aide à décision mais il ne faut pas la laisser avoir le dernier mot.
Le 23/11/2024 à 22h51
La décision doit rester chez l'humain de mon point de vue.
Pour faire un parallèle, c'est comme porter un projet devant un comité. Les chefs n'auront pas forcément la capacité de comprendre tous les détails, et c'est pas ce qu'on leur demande. Ce qu'ils attendent, c'est une explication sur les enjeux, le coût, le ROI attendu, le risque à faire, à ne pas faire, etc, pour prendre une décision. Ici, le rôle de l'IA est de fournir ces éléments de prise de décision, pas de donner le "go projet".
Hélas, il y a encore trop de fantasmes dans le domaine pour utiliser ces outils de manière intelligence. Et quand je vois le nombre de personnes dans l'IT qui boivent les paroles de ChatGPT sans comprendre le fonctionnement ou les limites de l'outil, je me dis qu'on a pas le cul sorti des ronces.
Le 25/11/2024 à 10h12
Modifié le 24/11/2024 à 08h56
Le 25/11/2024 à 14h03