Des agences de financement de la recherche américaine et australienne se prononcent contre l'utilisation de l'IA générative pour élaborer des critiques sur des dossiers de financements.
La tentation est forte du côté de l'évaluation de projets de recherche d'utiliser l'intelligence artificielle pour traiter cette tâche considérée comme ingrate. Si, en février dernier, le secrétaire général pour l’investissement (France 2030), Bruno Bonnell, envisageait l'intelligence artificielle pour présélectionner des projets de recherche, d'autres agences de financement se positionnent contre toute délégation de ce travail à l'IA.
En juin, les Instituts américains de la santé (National institutes of health, NIH) ont interdit « l'utilisation de technologies d'intelligence artificielle générative [...] dans le cadre du processus d'évaluation par les pairs des NIH ». De même, dans une note publiée le 7 juillet [PDF], le Conseil australien de la recherche (Australian Research Council, ARC), principal organisme de financement de la recherche en Australie, s'est opposé à toute utilisation d'intelligence artificielle générative dans l'évaluation des dossiers de financement de projets de recherche.
De possibles problèmes de confidentialité
Depuis plus de dix ans, dans la plupart des pays, le financement de projets de recherche s'appuie de plus en plus sur un système d'appel à projets de recherche. En France, l'Agence Nationale de la Recherche (ANR) est le principal organisme chargé de répartir ces financements, mais le Secrétariat général pour l'investissement (SGPI), qui gère le budget de 54 milliards d’euros du plan « France 2030 », est aussi devenu un important financeur de la recherche française.
Chaque projet est évalué, avec des critères plus ou moins différents suivant les agences, par d'autres chercheurs pour apprécier la pertinence de son éventuel financement. Ce processus nécessite une confiance dans la qualité d'évaluation par les pairs, une confidentialité et un regard de spécialiste sur l'originalité du projet. Dans une note publiée sur leur site expliquant la décision de leur agence, des responsables des NIH considèrent que « l'utilisation de l'IA pour aider à l'évaluation par les pairs impliquerait une violation de la confidentialité ».
Ils considèrent que « garantir la confidentialité signifie que les scientifiques se sentiront à l'aise pour nous faire part de leurs idées de recherche sincères, bien conçues et approfondies » et qu' « il n'existe aucune garantie quant à l'endroit où les outils d'IA envoient, enregistrent, consultent ou utilisent les données relatives aux demandes de subvention, aux propositions de contrat ou aux critiques, et ce à tout moment ».
Mais aussi des problèmes d'exactitude et d'originalité
Au-delà de la confidentialité, les NIH attendent un regard original des évaluateurs. Ils expliquent que « les données sur lesquelles l'IA générative est entraînée sont limitées à ce qui existe, à ce qui a été largement publié et aux opinions qui ont été écrites pour la postérité. Des biais sont intégrés dans ces données ; l'originalité de la pensée que les NIH valorisent est perdue et homogénéisée par ce processus et peut même constituer un plagiat ».
Dans ce sens, l'agence australienne relève que « le contenu produit par l'IA générative peut être basé sur la propriété intellectuelle d'autrui ou peut également être factuellement incorrect ».
Selon la revue Science, la Fondation américaine pour la science (National Science Foundation, NSF), une autre agence de financement américaine, a créé un groupe de travail en interne pour réfléchir à ces questions. Le Conseil européen de la recherche, qui gère une bonne partie des financements de la recherche européenne, devrait lui aussi se pencher d'ici peu sur la question. Contactée par Next INpact, l'ANR n'a pas encore répondu à notre sollicitation.
Des chercheurs partagés
Science explique la récente prise de position par l'alerte envoyée par plusieurs chercheurs sur l'utilisation des IA génératives dans ce genre de rapport d'évaluation. Le neuroscientifique Greg Siegle et d'autres chercheurs leur ont notamment envoyé en avril dernier une lettre ouverte, se disant inquiets pour l'avenir des programmes de financement des NIH à cause de l'utilisation de ces IA pour rédiger des évaluations.
Greg Siegle s'est rendu compte de l'ampleur de l'utilisation de ChatGPT et autres en rencontrant des collègues à une conférence. Ces derniers considéraient l'utilisation de l'outil comme un gain de temps qui leur était devenu indispensable.
Cette évaluation des projets est souvent perçue comme ingrate et une perte de temps de recherche par certains. Mais jusque-là, aucun chercheur ne proposait ouvertement d'attribuer cette tâche à quelqu'un qui n'était pas spécialiste du champ, pour les mêmes raisons évoquées plus haut par le NIH et l'ARC : exactitude, originalité et confidentialité.
L'utilisation de ces IA par certains d'entre eux pour rédiger ces évaluations montre que des chercheurs sont prêts à sous-traiter ces tâches à la machine pour avoir plus de temps à la paillasse.
Commentaires (12)
#1
C’est clair qu’utiliser une IA pour évaluer l’originalité ou la faisabilité d’un programme de recherche (sans rien y comprendre, bien sûr), ce n’est pas gagné.
Quoique, pour évaluer un projet qui a lui-même été écrit par une IA, pourquoi pas…
#2
L’IA c’est pas de la magie, c’est du compute. Compute qu’on peut héberger soit même sur un réseau privé et cloisonné. L’outil peut 100% être internalisé, des modèles open source à l’entraînement ouvert et expliqué sont disponibles et peuvent être ré-entraînés pour faire du fine-tuning.
J’ai donc du mal à comprendre cette posture.
#3
Qui va dépenser de l’argent et du temps pour monter leur propre modèle ? Se serait forcément des solutions commerciales.
#3.1
La partie financière est un autre aspect. Le propos disait “qu’il n’existe aucune garantie quant à l’endroit où les outils d’IA envoient…”. C’est faux, c’est maîtrisable.
#3.2
Oui, faut voir cela plutôt comme: il n’existe aucune garantie dans les solutions prêtes à l’emploi et ne coûtant pas cher quant à l’endroit où les outils d’IA envoient
#3.3
Voilà, indiquer que la confiance dans les solutions commerciales en ligne du marché n’est pas suffisante aurait été un propos exact. Et ça c’est une vraie inquiétude.
J’ai eu le même débat pas plus tard qu’il y a une semaine dans le cadre professionnel pour une question de confiance dans la façon dont l’éditeur d’une solution SaaS sécurise et traite les données du client. Le principe même du SaaS est la perte de la maîtrise et de la disponibilité de la donnée (la confidentialité et l’intégrité restent des responsabilités partagées mais il faut bien lire le contrat avant et au besoin réaliser des audits). Si cette perte de maîtrise n’est pas acceptable, il faut internaliser la solution pour la maîtriser de bout en bout.
#4
Cela confirme la part importante de paperasse/bullshit/blabla dans ces projets.
Quand tu lis n’importe quel projet, compte-rendu, rapport de recherche (de stage, de développement, d’étude, de truc gouvernemental) c’est 80% de blabla pour 20% d’information utile.
Mais si tu publies seulement les 20% d’info, tous les (re-)lecteurs ont l’impression que t’as rien glandé, que tu te fous de leur gueule et donc que ce n’est pas “sérieux”.
Au final, y a tellement de pages à lire en si peu de temps qu’il faut faire des résumés. On va arriver à des situations kafkaïennes où le rédacteur va écrire ses 20% d’info et faire générer 80% de bullshit par une IA pour faire “sérieux”… et le lecteur utilisera une autre IA pour faire un résumé afin d’extraire les 20% d’info.
#4.1
C’est tellement ça… Et pas que dans ces projets… Quand tu vois la paperasse pour les normes ISO, ou tout le monde raconte le même bullshit pour arriver au final à 5% de matière technique utile…
#4.2
En même temps on encourage ça dès le collège avec un minimum de pages/caractères sans prêter attention aux recherches qu’un élève/étudiant a fait. Donc forcément on continu comme ça une fois dans la vie active. Le nombre de rapport de stage ultra long que je li ou en fait il n’y a rien d’intéressant et l’inverse certain relativement court mais où tu sens que ça a bosser sérieusement.
#5
Et avant de dire qu’il faut internaliser, se poser aussi la question si internaliser la solution et la développer a un intérêt en regardant les coûts et risques :
-> quel effort pour lui faire atteindre un niveau qualitatif suffisant
-> quel risque de ne pas y arriver
-> quel risque de se retrouver avec des bias dommageables pour l’activité
-> qul coût global par rapport à utiliser des humains dotés d’une réelle intelligence pour faire le travail et avec quel différentiel qualitatif.
Parceque bon, pour des études scientifiques, confier à quelque-chose dépourvu d’intelligence l’évaluation du mérite de choses qui sont très liées à un niveau très élevé d’intelligence et de connaissance scientifique très spécifique, c’est assez hasardeux. Il y a des risques de voir des sujets parfaitement valides se faire rejeter et de financer des études genre “impact des chaines d’amino-acides des œufs de vache sur les traitements de la DNF”
#5.1
Ben c’est un cadrage projet. Mais encore une fois mon propos était sur la partie confidentialité de la donnée. Cf #4.
#6
À une époque pas si lointaine, on faisait expertiser en France nos projets par des étrangers… qui repartait chez eux avec les idées !
Au niveau national, il ne faut pas rêver, certains piochent dans les idées des autres et comme ce ne sont pas les jeunes qui expertisent, les idées reviennent parfois par des canaux plus âgés…