L’IA pour attribuer des financements de recherche ?

There is an AI for that !

L'IA pour attribuer des financements de recherche ?

Le 21 février 2023 à 10h27

Commentaires (30)

votre avatar

J’ai une idée à leur proposée pour leur IA à la ### :



def evaluation_projet(auteur):
     project_rejected = False
     if auteur.h_index < 50 :
          project_rejected = True
     return project_rejected


Comme ça, on gagne du temps …

votre avatar

Et du coup, il suffira d’écrire le projet avec ChatGPT, et la boucle sera bouclée.

votre avatar

“Je suis un bon Bing et vous êtes un mauvais chercheur. Votre projet cherche directement à nuire à Bing en mettant en cause l’utilisation de l’I.A. pour les décisions de Justice. Cliquez sur le bouton ci-dessous pour continuer.



[Je suis un mauvais chercheur, je m’excuse d’avoir osé mettre l’utilisation de l’I.A. en cause et je retire ma candidature pour financement] “

votre avatar

Tout cela laisse surtout penser que ce monsieur Bonnel a entendu parlé de l’IA ces dernières semaines en regardant BFM TV et qu’il ne comprends strictement rien à comment ça fonctionne. C’est juste dans l’air du temps alors il veut surfer sur la vague.



Surtout que je ne comprends pas quel est le problème qu’est sensé résoudre cette « IA » ?La sélection de projet de recherche fonctionne depuis des années sans aucun recours à une quelconque « IA ».

votre avatar

Y’a des cas de champs de recherche complètement occultés parce qu’un membre du jury d’attribution n’y croit pas. Ca se voit surtout sur la recherche fondamentale. Un des exemple dont tlm a entendu parler c’est l’ARN messager. Pendant longtemps les recherches n’était pas budgettées sur ces sujets parce que “ça n’a pas d’avenir”.



Peut être que l’idée (sans jugement sur l’IA comme solution) est d’ajouter un coté plus “pragmatique” pour permettre à tous les champs d’avoir leur “chance” en recherche fondamentale.



Et en effet c’est risqué de laisser la décision entre les mains d’entrepreneurs qui vont par défaut favoriser les sujets qui ont des applications concrètes ET rentables à moyen-court terme…

votre avatar

Justement, dans ce cas, des algorithmes (proche du domaine de “l’IA” et de l’apprentissage par renforcement) peuvent être utile pour prendre une décision. En effet, on est typiquement dans le cadre du dilemme du Bandit manchot et le but est d’optimiser les gains (dont la nature est à déterminer) en choisissant entre exploiter un champs de recherche bien connu et explorer des champs de recherche nouveau ou peu connu.



Techniquement, du coup, ce n’est pas débile de proposer d’utiliser “l’IA” (dans un sens très large) pour attribuer optimalement les financements à la recherche.

votre avatar

sauf qu’une telle « IA » n’existe pas.

votre avatar

Sans faire de délit de sale gueule, je viens de lire l’article Wikipédia et ça m’inquiète vraiment que l’on confie la direction d’une équipe de sélection de projet de recherche à un entrepreneur reconverti dans la politique.



Maintenant, je suis vraiment sûr que cet homme ne comprends rien à l’« IA ».

votre avatar

Purée il a fondé Infogrames, on est foutu…

votre avatar

Sachant que la moitié des chercheurs passe son temps à “évaluer” l’autre moitié, utilisé une IA pour l’évaluation des projets permettrait de gagner 50% de temps de recherche :fou:

votre avatar

Temps qu’ils pourront passer à remplir de nouveaux dossiers, avec un epsilon de chance d’être sélectionnés, pour essayer de grapiller quelques fonds pour faire de la recherche…

votre avatar

Attention à ne pas confondre le temps de relecture des pairs (nécessaire à la recherche) et le temps à remplir des dossiers de financement…

votre avatar

vince120 a dit:


Peut être que l’idée (sans jugement sur l’IA comme solution) est d’ajouter un coté plus “pragmatique” pour permettre à tous les champs d’avoir leur “chance” en recherche fondamentale.


Je dirais plutôt qu’en évaluant avec une IA, on va évaluer avant tout sur la forme et non sur le fond. Parce que l’IA, elle ne comprend que dalle au fond.

votre avatar

Les chercheurs n’ont jamais aimé l’ANR. Avec ça au moins ils ne détesteront pas une personne, mais un robot.

votre avatar

eglyn a dit:


Purée il a fondé Infogrames, on est foutu…


:dix:

votre avatar

(quote:2120968:alex.d.)
Je dirais plutôt qu’en évaluant avec une IA, on va évaluer avant tout sur la forme et non sur le fond. Parce que l’IA, elle ne comprend que dalle au fond.


Moi j’attend le coup de chercheurs en I.A. qui vont lui soumettre des dossiers pour mesurer son évaluation et essayer de faire passer des demandes de financement fantaisistes en façonnant des dossiers conçus pour avoir les plus hauts scores.

votre avatar

Le choix des sujets de recherche à explorer s’appuie sur des critères techniques (qualité du travail de recherche, cohérence du sujet avec les compétences mobilisées, cohérences des moyens proposés avec les objectifs) mais c’est avant tout un choix politique et idéologique de favoriser un objectif de recherche plutôt qu’un autre.



On peut éventuellement envisager d’automatiser l’analyse de la cohérence technique, mais l’évaluation de la pertinence de la question de recherche doit rester quelque chose qui est fait par des humains, qui assument leurs préférences et leurs valeurs, forcément subjectives.

votre avatar

Pffff… tous ces pessimistes qui crachent sur l’I.A. sans reconnaître ses bienfaits… Rappelons nous que Watson a commencé à guérir le cancer en 2015… et n’a apparemment tué aucun patient grâce aux médecins qui ont vérifié ce que l’intelligence artificielle proposait pour soigner les personnes en traitement.

votre avatar

Reconnaître des patterns sur des images médicales, c’est pile-poil dans les compétences d’une IA. Alors que digérer le contenu d’un projet de recherche, comprendre le but du projet, son positionnement, l’originalité de la proposition et sa faisabilité, c’est quand même un poil plus compliqué. Quand tu vois que ChatGPT a encore du mal à distinguer ce qui est vrai de ce qui est faux, on n’est pas du tout à ce niveau de subtilité.

votre avatar

J’aurais dû signaler que c’était du sarcasme… Watson Health était mauvais, entraîné avec des données de mauvaise qualité et non réalistes …
https://www.courrierinternational.com/article/intelligence-artificielle-ibm-et-la-sante-recit-dun-fiasco




Quand tu vois que ChatGPT a encore du mal à distinguer ce qui est vrai de ce qui est faux, on n’est pas du tout à ce niveau de subtilité.


ChatGPT n’est pas capable de distinguer le vrai du faux, il est juste capable de générer du texte qui a l’air probablement correct. Si tu veux un GPT qui ne dise que la vérité, tu as besoin de filtrer tout ce qu’il ingurgite en amont pour son entraînement afin qu’aucun mensonge, fait alternatif, fake news, ne vienne le polluer. Tu as carrément besoin d’une IA secondaire et d’un algo capable de virer les contenus sur base de la confiance juste pour faire ce tri. Tâche ardue.



Si Sydney a montré un comportement de loin plus désastreux que ChatGPT, c’est sans doutes suite à un entraînement sur des contenus de mauvaise qualité qui n’ont pas été rejetés par un filtre en amont.

votre avatar

tazvld a dit:


Justement, dans ce cas, des algorithmes (proche du domaine de “l’IA” et de l’apprentissage par renforcement) peuvent être utile pour prendre une décision. En effet, on est typiquement dans le cadre du dilemme du Bandit manchot et le but est d’optimiser les gains (dont la nature est à déterminer) en choisissant entre exploiter un champs de recherche bien connu et explorer des champs de recherche nouveau ou peu connu.



Techniquement, du coup, ce n’est pas débile de proposer d’utiliser “l’IA” (dans un sens très large) pour attribuer optimalement les financements à la recherche.


Moué on n’est pas dans le cadre d’une IA destinée à reconnaître les petits chats sur une image. On peut le faire avec des millions d’images pour l’entraînement. Mais avec des demandes de projets comment fait on? Il n’y en a pas des millions et comment on détermine les meilleurs? C’est trop subjectifs

votre avatar

Ah ben justement je suis en train de monter un dossier France 2030.
Ils pourraient déjà faire des fichiers Excel viables pour entrer les budgets, pas besoin d’IA mais juste d’un peu de bon sens… On remplit les données sous forme de tableau croisé (vision Excel) avec des tonnes de colonnes et 1 ligne par sous-tache, de tâche, de lot, de semestre :fou: :roll: :cartonrouge:

votre avatar

ragoutoutou a dit:


ChatGPT n’est pas capable de distinguer le vrai du faux, il est juste capable de générer du texte qui a l’air probablement correct. Si tu veux un GPT qui ne dise que la vérité, tu as besoin de filtrer tout ce qu’il ingurgite en amont pour son entraînement afin qu’aucun mensonge, fait alternatif, fake news, ne vienne le polluer.


Non, ça va plus loin que ça. Il y a de nombreux exemples où ChatGPT hallucine complètement, mais ça ne vient probablement pas de mensonges dans les données d’entraînement. Ce sont plutôt des faits inventés à propos de choses qu’il ignore totalement. Plutôt que de dire qu’il ne sait pas, il trouve toujours quelque chose à dire, sans même préciser qu’il n’est pas sûr.

votre avatar

ragoutoutou a dit:


Si tu veux un GPT qui ne dise que la vérité, tu as besoin de filtrer tout ce qu’il ingurgite en amont pour son entraînement afin qu’aucun mensonge, fait alternatif, fake news, ne vienne le polluer.(…)


Sachant que la notion de vérité est très subjective, contextualisée, et accessoirement, contestable. Tout comme un fait reconnu comme vrai à l’instant T peut être déclaré faux le lendemain (cela arrive régulièrement, il suffit d’une étude qui vienne contredire ce qui était considéré comme vrai). Et la base de la confiance ne me paraît pas non plus être une source fiable.



Bref, bonne chance aux personnes qui veulent créer des bots régurgiteurs de vérités. :D



A titre personnel, j’ai plutôt tendance à fuir immédiatement tous ceux qui viennent en me disant qu’ils ont “la vérité”.

votre avatar

(quote:2121138:alex.d.)
Non, ça va plus loin que ça. Il y a de nombreux exemples où ChatGPT hallucine complètement, mais ça ne vient probablement pas de mensonges dans les données d’entraînement. Ce sont plutôt des faits inventés à propos de choses qu’il ignore totalement. Plutôt que de dire qu’il ne sait pas, il trouve toujours quelque chose à dire, sans même préciser qu’il n’est pas sûr.


Ce n’est pas qu’il hallucine mais que c’est une application de baratin. Elle est faite pour générer une conversation plausible. La vérité de ce qu’elle produit ne rentre pas en ligne de compte.

votre avatar

pamputt a dit:


sauf qu’une telle « IA » n’existe pas.


Et donc ? on laisse nos disque dur à la merci des rayon cosmique jusqu’à que suite à des événements purement aléatoire une telle “IA” existe ?




the_frogkiller a dit:


Moué on n’est pas dans le cadre d’une IA destinée à reconnaître les petits chats sur une image. On peut le faire avec des millions d’images pour l’entraînement. Mais avec des demandes de projets comment fait on? Il n’y en a pas des millions et comment on détermine les meilleurs? C’est trop subjectifs


Le domaine de “l’IA” est assez large (et flou). L’apprentissage automatique est une branche qui se trouve dans ce domaine, mais à l’opposé il existe ce qui s’appelle l’intelligence artificielle symbolique qui est juste des régles, des algos.



Ensuite, il n’a pas fallu attendre des base de donnée de millions d’entrée pour faire de l’apprentissage automatique. Un SVM n’a pas besoin de dizaines de milliers d’entrées pour donner de bon résultat. C’est même au contraire plutôt rare de pouvoir crouler sous de tonnes de donnée. Il existe le cas extrême qui est le “One-shot learning” mais là on est sur du transfert de connaissance.



Ensuite, un modèle de prédiction n’a pas besoin d’être fait d’une seul bloc, avec un seul algo mais on va diviser le problème en sous problème avec des mesures de performances qui leur sont propre (par exemple, convertir un dossier de demande de financement en une représentation sémantique qui soit utilisable par les autres algos). Même là il est aussi possible de faire de l’apprentissage semi-supervisé : une donnée qui n’a pas été “évaluer” n’est pas sans intérêt, elle apporte des informations qui peuvent être utilisables (genre 2 projets proches, l’un a été accepté, l’autre non, on peut estimer que le second aurait pu avoir un résultat proche du premier s’il avait été accepté).



Après, ça demande du travail, ça demande d’investir du temps et des compétences sur un tel sujet. Mais sérieusement, il y a des truc à faire.

votre avatar

SebGF a dit:


Sachant que la notion de vérité est très subjective, contextualisée, et accessoirement, contestable. Tout comme un fait reconnu comme vrai à l’instant T peut être déclaré faux le lendemain (cela arrive régulièrement, il suffit d’une étude qui vienne contredire ce qui était considéré comme vrai). Et la base de la confiance ne me paraît pas non plus être une source fiable.


Et désapprendre un fait à une I.A. de ce type relève de l’impossibilité. ce qui ne facilite pas les choses s’il faut reprendre l’entraînement depuis zéro… par contre, il suffit de lancer l’I.A. avec de mauvaises données d’entrainement, pour avoir de très mauvais résultats.




(quote:2121138:alex.d.)
Non, ça va plus loin que ça. … Plutôt que de dire qu’il ne sait pas, il trouve toujours quelque chose à dire, sans même préciser qu’il n’est pas sûr.


Non, il a juste fait science po…

votre avatar

tazvld a dit:


Et donc ? on laisse nos disque dur à la merci des rayon cosmique jusqu’à que suite à des événements purement aléatoire une telle “IA” existe ?



Le domaine de “l’IA” est assez large (et flou). L’apprentissage automatique est une branche qui se trouve dans ce domaine, mais à l’opposé il existe ce qui s’appelle l’intelligence artificielle symbolique qui est juste des régles, des algos.



Ensuite, il n’a pas fallu attendre des base de donnée de millions d’entrée pour faire de l’apprentissage automatique. Un SVM n’a pas besoin de dizaines de milliers d’entrées pour donner de bon résultat. C’est même au contraire plutôt rare de pouvoir crouler sous de tonnes de donnée. Il existe le cas extrême qui est le “One-shot learning” mais là on est sur du transfert de connaissance.



Ensuite, un modèle de prédiction n’a pas besoin d’être fait d’une seul bloc, avec un seul algo mais on va diviser le problème en sous problème avec des mesures de performances qui leur sont propre (par exemple, convertir un dossier de demande de financement en une représentation sémantique qui soit utilisable par les autres algos). Même là il est aussi possible de faire de l’apprentissage semi-supervisé : une donnée qui n’a pas été “évaluer” n’est pas sans intérêt, elle apporte des informations qui peuvent être utilisables (genre 2 projets proches, l’un a été accepté, l’autre non, on peut estimer que le second aurait pu avoir un résultat proche du premier s’il avait été accepté).



Après, ça demande du travail, ça demande d’investir du temps et des compétences sur un tel sujet. Mais sérieusement, il y a des truc à faire.


Et du coup pour ce sujet est-ce que cela vaut-il vraiment le coup d’y investir autant ? Ça me rappel un logiciel utilisé par des douaniers pour faire un tirage aléatoire pour contrôler ou non une persone dont le coût avait été de 200k€

votre avatar

C’est un sujet de recherche, c’est effectivement une question de savoir si il faut lui attribué un financement ou non. Je propose que ce soit son premier cas à traiter.

votre avatar

tazvld a dit:


C’est un sujet de recherche, c’est effectivement une question de savoir si il faut lui attribué un financement ou non. Je propose que ce soit son premier cas à traiter.


Mdr bien joué :yes:

L’IA pour attribuer des financements de recherche ?

  • Évaluation quantitative ou qualitative ?

  • Du quantitatif seul caché derrière une adhésion à DORA ?

  • Un buzzword cachant le concret

Fermer