Connexion Premium

OpenScholar, un système d’IA générative peut faire des citations scientifiques correctes

Une bibliographie sur les baleines à bec ? Tout de suite !

OpenScholar, un système d’IA générative peut faire des citations scientifiques correctes

Andy Quezada pour unsplash

Les chercheurs peuvent-ils utiliser les modèles de langages pour faire la synthèse de la littérature scientifique sur un sujet, alors que les modèles comme GPT-4o « hallucinent » les citations d’articles scientifiques dans 78 à 90 % des cas ? Des chercheurs ont mis en place OpenScholar, un système couplant un modèle de langage avec une base de données importantes de référence. Ainsi, ils obtiennent, selon eux, des résultats comparables à des chercheurs humains.

Le 06 février à 09h09

Dans un article publié dans la revue scientifique Nature ce mercredi 4 février, des chercheurs et chercheuses de l’Université de Washington à Seattle mais aussi d’autres universités comme Stanford décrivent leur système, OpenScholar, qui répond à des questions scientifiques.

Rappelons-nous que, quelques jours avant la sortie de ChatGPT en 2022, Meta a dû dépublier au bout de trois jours Galactica, son projet qui devait permettre de générer « un article avec des références, des formules et tout », dixit Yann LeCun.

Ici, les chercheurs expliquent que OpenScholar identifie les passages pertinents parmi 45 millions d’articles en libre accès et synthétise des réponses étayées par des citations. Il s’agit de donner le titre et le lien d’articles scientifiques, pas de citer le texte de la publication directement.

Le problème de Galactica et, de fait, d’une bonne partie des outils qui s’appuient sur des modèles de langage, c’est qu’ils ne peuvent pas éviter les « hallucinations ».

Limiter les hallucinations en s’appuyant sur une base de données de 45 millions d’articles

Ainsi, selon le benchmark qu’ont créé les chercheurs qui ont mis en place OpenScholar, GPT-4o « hallucine les citations d’articles scientifiques dans 78 à 90 % des cas ». C’est néanmoins un modèle qui a déjà deux ans, retiré par OpenAI. Cela peut paraître court, mais les modèles évoluent à vitesse grand V en l’espace de quelques mois et deux ans c’est presque une éternité.

Il reste 77% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (1)

votre avatar
Recette d'un réseau de neurones au résultats les moins pollués de mensonges :

  1. Usage cible déterminé au périmètre restreint

  2. Corpus d'entrainement de qualité, cohérent relativement à l'usage cible

  3. Volume de données d'entrainement important



… mais comme il s'agit toujours d'un réseau de neurones :

  1. Approche probabiliste, le mensonge (cachés derrière l'euphémisme "hallucinations") est donc structurellement présent

  2. Audit de fonctionnement impossible car le fonctionnement est non-déterministe et les paramètres de fonctionnement ne permettent pas d'en comprendre le déroulé, sauf au cas par cas

  3. Une synthèse n'est jamais le propos d'origine : le piège du résumé bat ici son plein

  4. La ratio gain escompté/coût de fonctionnement est à comparer à celui qui pourrait être obtenu avec d'autres solutions d'assistance informatique

OpenScholar, un système d’IA générative peut faire des citations scientifiques correctes

  • Limiter les hallucinations en s'appuyant sur une base de données de 45 millions d'articles

  • Des résultats probants

  • 10 fois plus de travaux scientifiques indexés ailleurs

  • L’outil est disponible, testons-le !