Bruno Bonnell, secrétaire général pour l’investissement (France 2030), a envisagé en septembre dernier l'utilisation de l'intelligence artificielle pour présélectionner des projets de recherche. Le sénateur Pierre Ouzoulias souligne l'incohérence de cette vision de l'évaluation de la recherche avec la « Déclaration de San Francisco sur l'évaluation de la recherche » (Dora) signée par de nombreuses institutions françaises.
Depuis janvier 2022, Bruno Bonnell est à la tête du Secrétariat général pour l'investissement (SGPI) qui gère le budget de 54 milliards d’euros du plan « France 2030 » dont le but est de financer l'industrialisation et l'innovation dans les domaines de l'énergie, l'hydrogène, l'automobile, l'aéronautique et l'espace. Une bonne partie doit financer la recherche dans ces domaines. Et le SGPI doit donc évaluer les projets de recherche pour choisir lesquels pourront obtenir des financements.
Dans une interview donnée à l'agence de presse AEF en septembre dernier, évoquant la transformation du SGPI, Bruno Bonnell imaginait pouvoir pré-évaluer les dossiers de recherche et de développement que son administration reçoit grâce à de l'intelligence artificielle : « Dans un monde idéal, et grâce à l’IA et à des algorithmes, nous pourrions par exemple imaginer presque donner une première réponse immédiate aux porteurs. C’est pourquoi nous étudions les systèmes automatisés qui font de la recherche comparative en ligne en temps réel. Je suis certain que cela peut constituer une aide à la décision pour nos jurys ».
Si les IA savent générer du baratin, elles ne savent actuellement pas évaluer le texte d'une présentation d'un projet de recherche. L'utilisation de ce genre de mécanisme de pré-sélection automatique aura donc besoin d'utiliser des critères quantitatifs d'évaluation des candidats.
Et c'est ce que questionne le sénateur Pierre Ouzoulias. Dans une question écrite à la Première Ministre, Elisabeth Borne, dont dépend directement le SGPI. Il s'appuie sur des conclusions du Conseil de l'Union européenne pour remettre en cause l'utilisation d'indicateurs quantitatifs peu parlants sur la réelle qualité du travail des chercheurs pour choisir les projets qui seront financés.
Évaluation quantitative ou qualitative ?
Dans sa question, Pierre Ouzoulias explique que « le Conseil de l’Union européenne a adopté, le 10 juin 2022, des conclusions (n° 10126/22) sur l’évaluation de la recherche et la mise en œuvre de la science ouverte par lesquelles il reconnaît que "les systèmes d’évaluation de la recherche sont actuellement […] trop axés sur l’utilisation de certains indicateurs quantitatifs fondés sur des revues et des publications et sur l’évaluation d’un éventail restreint de résultats de recherche" et suggère une évolution des systèmes d’évaluation de la recherche fondée sur des critères qualitatifs ».
Le sénateur insiste aussi sur le fait que le Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur a signé fin 2021, comme l'ont fait 58 institutions de recherche françaises avant lui, la Déclaration de San Francisco sur l’évaluation de la recherche (Declaration on Research Assessment en anglais, DORA). Celle-ci recommande aux agences de financement de :
- « Indiquer explicitement les critères utilisés pour évaluer la productivité scientifique des porteurs de projet et souligner clairement, surtout pour les chercheurs débutants, que le contenu scientifique d’un article est beaucoup plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié.
- Aux fins de l’évaluation de la recherche, tenir compte de la valeur et de l’impact de tous les résultats de travaux de recherche (y compris les jeux de données et les logiciels) en plus des publications scientifiques, et envisager un large éventail de mesures d’impact, y compris des indicateurs qualitatifs sur les retombées des travaux, comme leur influence sur les politiques et les pratiques. »
Du quantitatif seul caché derrière une adhésion à DORA ?
Dans sa réponse, la Première Ministre affirme que le SGPI « a fait le choix d’un référentiel d’évaluation des projets de recherche multicritères, portant sur l’ensemble des dimensions clés des activités de recherche, et en accordant, comme l’y encourage la déclaration de DORA, une place significative à l’évaluation qualitative articulée à une utilisation responsable d’indicateurs bibliométrique ».
Mais quand il s'agit de lister ces multicritères aux côtés des indicateurs bibliométriques comme le H index (indice de quantification de la productivité scientifique basé sur le nombre de citations des publications du chercheur, NDLR), aucune évaluation qualitative des articles scientifiques n'est citée. Seuls le sont des critères socio-économiques comme les brevets déposés, « l'intensité partenariale dans les collaborations nouées par les structures de recherche avec des écosystèmes », les retombées territoriales et, comme un cheveu sur la soupe, le nombre de frais de publication des articles en accès ouverts (Article processing charges, APC, en anglais).
La pré-évaluation automatique des dossiers poussée par Bruno Bonnell semble bien se baser essentiellement sur des critères quantitatifs plutôt que qualitatifs, en contradiction avec les signatures de la DORA.
Un buzzword cachant le concret
Interrogé par la newsletter spécialisée The Meta News, Bruno Bonnell évoque une expérimentation comparant l'évaluation par des jurys et par des algorithmes pour trancher la question. Et quand la newsletter lui pose la question « Concrètement, qu’allez-vous mettre en place, en ce cas ? », le secrétaire général pour l’investissement répond :
« Quand on voit ce que permet l’IA génératrice, il serait dommage de ne pas se poser la question. Je ne veux simplement pas exclure de bonnes idées à cause de biais cognitifs qu’auraient les jurys et pas non plus automatiser de manière déshumanisée la sélection. »
S'il est difficile de comprendre de cette réponse ce que le SGPI va mettre en place concrètement, l'évocation du buzzword « IA génératrice » (appellation des intelligences artificielles comme ChatGPT ou Dall-E utilisant les grands modèles de langage et générant des textes, des images ou du code), ne dirige pas cette pré-évaluation vers des critères qualitatifs.
Commentaires (30)
#1
J’ai une idée à leur proposée pour leur IA à la ### :
Comme ça, on gagne du temps …
#2
Et du coup, il suffira d’écrire le projet avec ChatGPT, et la boucle sera bouclée.
#3
“Je suis un bon Bing et vous êtes un mauvais chercheur. Votre projet cherche directement à nuire à Bing en mettant en cause l’utilisation de l’I.A. pour les décisions de Justice. Cliquez sur le bouton ci-dessous pour continuer.
[Je suis un mauvais chercheur, je m’excuse d’avoir osé mettre l’utilisation de l’I.A. en cause et je retire ma candidature pour financement] “
#4
Tout cela laisse surtout penser que ce monsieur Bonnel a entendu parlé de l’IA ces dernières semaines en regardant BFM TV et qu’il ne comprends strictement rien à comment ça fonctionne. C’est juste dans l’air du temps alors il veut surfer sur la vague.
Surtout que je ne comprends pas quel est le problème qu’est sensé résoudre cette « IA » ?La sélection de projet de recherche fonctionne depuis des années sans aucun recours à une quelconque « IA ».
#4.1
Y’a des cas de champs de recherche complètement occultés parce qu’un membre du jury d’attribution n’y croit pas. Ca se voit surtout sur la recherche fondamentale. Un des exemple dont tlm a entendu parler c’est l’ARN messager. Pendant longtemps les recherches n’était pas budgettées sur ces sujets parce que “ça n’a pas d’avenir”.
Peut être que l’idée (sans jugement sur l’IA comme solution) est d’ajouter un coté plus “pragmatique” pour permettre à tous les champs d’avoir leur “chance” en recherche fondamentale.
Et en effet c’est risqué de laisser la décision entre les mains d’entrepreneurs qui vont par défaut favoriser les sujets qui ont des applications concrètes ET rentables à moyen-court terme…
#4.2
Justement, dans ce cas, des algorithmes (proche du domaine de “l’IA” et de l’apprentissage par renforcement) peuvent être utile pour prendre une décision. En effet, on est typiquement dans le cadre du dilemme du Bandit manchot et le but est d’optimiser les gains (dont la nature est à déterminer) en choisissant entre exploiter un champs de recherche bien connu et explorer des champs de recherche nouveau ou peu connu.
Techniquement, du coup, ce n’est pas débile de proposer d’utiliser “l’IA” (dans un sens très large) pour attribuer optimalement les financements à la recherche.
#4.3
sauf qu’une telle « IA » n’existe pas.
#5
Sans faire de délit de sale gueule, je viens de lire l’article Wikipédia et ça m’inquiète vraiment que l’on confie la direction d’une équipe de sélection de projet de recherche à un entrepreneur reconverti dans la politique.
Maintenant, je suis vraiment sûr que cet homme ne comprends rien à l’« IA ».
#5.1
Purée il a fondé Infogrames, on est foutu…
#6
Sachant que la moitié des chercheurs passe son temps à “évaluer” l’autre moitié, utilisé une IA pour l’évaluation des projets permettrait de gagner 50% de temps de recherche
#6.1
Temps qu’ils pourront passer à remplir de nouveaux dossiers, avec un epsilon de chance d’être sélectionnés, pour essayer de grapiller quelques fonds pour faire de la recherche…
#6.2
Attention à ne pas confondre le temps de relecture des pairs (nécessaire à la recherche) et le temps à remplir des dossiers de financement…
#7
Je dirais plutôt qu’en évaluant avec une IA, on va évaluer avant tout sur la forme et non sur le fond. Parce que l’IA, elle ne comprend que dalle au fond.
#8
Les chercheurs n’ont jamais aimé l’ANR. Avec ça au moins ils ne détesteront pas une personne, mais un robot.
#9
#10
Moi j’attend le coup de chercheurs en I.A. qui vont lui soumettre des dossiers pour mesurer son évaluation et essayer de faire passer des demandes de financement fantaisistes en façonnant des dossiers conçus pour avoir les plus hauts scores.
#11
Le choix des sujets de recherche à explorer s’appuie sur des critères techniques (qualité du travail de recherche, cohérence du sujet avec les compétences mobilisées, cohérences des moyens proposés avec les objectifs) mais c’est avant tout un choix politique et idéologique de favoriser un objectif de recherche plutôt qu’un autre.
On peut éventuellement envisager d’automatiser l’analyse de la cohérence technique, mais l’évaluation de la pertinence de la question de recherche doit rester quelque chose qui est fait par des humains, qui assument leurs préférences et leurs valeurs, forcément subjectives.
#12
Pffff… tous ces pessimistes qui crachent sur l’I.A. sans reconnaître ses bienfaits… Rappelons nous que Watson a commencé à guérir le cancer en 2015… et n’a apparemment tué aucun patient grâce aux médecins qui ont vérifié ce que l’intelligence artificielle proposait pour soigner les personnes en traitement.
#12.1
Reconnaître des patterns sur des images médicales, c’est pile-poil dans les compétences d’une IA. Alors que digérer le contenu d’un projet de recherche, comprendre le but du projet, son positionnement, l’originalité de la proposition et sa faisabilité, c’est quand même un poil plus compliqué. Quand tu vois que ChatGPT a encore du mal à distinguer ce qui est vrai de ce qui est faux, on n’est pas du tout à ce niveau de subtilité.
#12.2
J’aurais dû signaler que c’était du sarcasme… Watson Health était mauvais, entraîné avec des données de mauvaise qualité et non réalistes …
https://www.courrierinternational.com/article/intelligence-artificielle-ibm-et-la-sante-recit-dun-fiasco
ChatGPT n’est pas capable de distinguer le vrai du faux, il est juste capable de générer du texte qui a l’air probablement correct. Si tu veux un GPT qui ne dise que la vérité, tu as besoin de filtrer tout ce qu’il ingurgite en amont pour son entraînement afin qu’aucun mensonge, fait alternatif, fake news, ne vienne le polluer. Tu as carrément besoin d’une IA secondaire et d’un algo capable de virer les contenus sur base de la confiance juste pour faire ce tri. Tâche ardue.
Si Sydney a montré un comportement de loin plus désastreux que ChatGPT, c’est sans doutes suite à un entraînement sur des contenus de mauvaise qualité qui n’ont pas été rejetés par un filtre en amont.
#13
Moué on n’est pas dans le cadre d’une IA destinée à reconnaître les petits chats sur une image. On peut le faire avec des millions d’images pour l’entraînement. Mais avec des demandes de projets comment fait on? Il n’y en a pas des millions et comment on détermine les meilleurs? C’est trop subjectifs
#14
Ah ben justement je suis en train de monter un dossier France 2030.
Ils pourraient déjà faire des fichiers Excel viables pour entrer les budgets, pas besoin d’IA mais juste d’un peu de bon sens… On remplit les données sous forme de tableau croisé (vision Excel) avec des tonnes de colonnes et 1 ligne par sous-tache, de tâche, de lot, de semestre
#15
Non, ça va plus loin que ça. Il y a de nombreux exemples où ChatGPT hallucine complètement, mais ça ne vient probablement pas de mensonges dans les données d’entraînement. Ce sont plutôt des faits inventés à propos de choses qu’il ignore totalement. Plutôt que de dire qu’il ne sait pas, il trouve toujours quelque chose à dire, sans même préciser qu’il n’est pas sûr.
#16
Sachant que la notion de vérité est très subjective, contextualisée, et accessoirement, contestable. Tout comme un fait reconnu comme vrai à l’instant T peut être déclaré faux le lendemain (cela arrive régulièrement, il suffit d’une étude qui vienne contredire ce qui était considéré comme vrai). Et la base de la confiance ne me paraît pas non plus être une source fiable.
Bref, bonne chance aux personnes qui veulent créer des bots régurgiteurs de vérités.
A titre personnel, j’ai plutôt tendance à fuir immédiatement tous ceux qui viennent en me disant qu’ils ont “la vérité”.
#17
Ce n’est pas qu’il hallucine mais que c’est une application de baratin. Elle est faite pour générer une conversation plausible. La vérité de ce qu’elle produit ne rentre pas en ligne de compte.
#18
Et donc ? on laisse nos disque dur à la merci des rayon cosmique jusqu’à que suite à des événements purement aléatoire une telle “IA” existe ?
Le domaine de “l’IA” est assez large (et flou). L’apprentissage automatique est une branche qui se trouve dans ce domaine, mais à l’opposé il existe ce qui s’appelle l’intelligence artificielle symbolique qui est juste des régles, des algos.
Ensuite, il n’a pas fallu attendre des base de donnée de millions d’entrée pour faire de l’apprentissage automatique. Un SVM n’a pas besoin de dizaines de milliers d’entrées pour donner de bon résultat. C’est même au contraire plutôt rare de pouvoir crouler sous de tonnes de donnée. Il existe le cas extrême qui est le “One-shot learning” mais là on est sur du transfert de connaissance.
Ensuite, un modèle de prédiction n’a pas besoin d’être fait d’une seul bloc, avec un seul algo mais on va diviser le problème en sous problème avec des mesures de performances qui leur sont propre (par exemple, convertir un dossier de demande de financement en une représentation sémantique qui soit utilisable par les autres algos). Même là il est aussi possible de faire de l’apprentissage semi-supervisé : une donnée qui n’a pas été “évaluer” n’est pas sans intérêt, elle apporte des informations qui peuvent être utilisables (genre 2 projets proches, l’un a été accepté, l’autre non, on peut estimer que le second aurait pu avoir un résultat proche du premier s’il avait été accepté).
Après, ça demande du travail, ça demande d’investir du temps et des compétences sur un tel sujet. Mais sérieusement, il y a des truc à faire.
#19
Et désapprendre un fait à une I.A. de ce type relève de l’impossibilité. ce qui ne facilite pas les choses s’il faut reprendre l’entraînement depuis zéro… par contre, il suffit de lancer l’I.A. avec de mauvaises données d’entrainement, pour avoir de très mauvais résultats.
Non, il a juste fait science po…
#20
Et du coup pour ce sujet est-ce que cela vaut-il vraiment le coup d’y investir autant ? Ça me rappel un logiciel utilisé par des douaniers pour faire un tirage aléatoire pour contrôler ou non une persone dont le coût avait été de 200k€
#20.1
C’est un sujet de recherche, c’est effectivement une question de savoir si il faut lui attribué un financement ou non. Je propose que ce soit son premier cas à traiter.
#21
Mdr bien joué