Mi-octobre, une équipe de l’Institute for Human-Centered Artificial Intelligence (HAI) de l’université de Stanford publiait un index de la transparence des modèles de fondation (modèles d'IA générative généralistes), outil notamment pensé pour servir les régulateurs. Dans la communauté scientifique, l'outil fait débat.
Il y a quelques jours, nous rapportions la publication d’un index permettant de mesurer la transparence de divers grands modèles d’intelligence artificielle. Créé par l’équipe du Center for Research on Foundation Models (CREM) de l’Institute for Human-Centered Artificial Intelligence (HAI) de l’université de Stanford, l’outil recense cent indicateurs à partir desquels il propose d’évaluer la transparence d’un modèle comme GPT-4, Lama 2 ou Bloomz.
Sur l'index de transparence des modèles de fondation :
- Stanford pointe le manque de transparence dans les grands modèles d'intelligence artificielle
- IA : les « modèles de fondation » et leur index de transparence critiqués
L’évaluation proposée par l’équipe du CREM se fait en plusieurs étapes : en amont de la fabrication du modèle (du côté des données d’entrainement, notamment), dans l’outil lui-même, et en aval (du côté de son application et de la possibilité qu’ont les utilisateurs de faire remonter des critiques et retours). Problème, nous a fait remarquer severo_bo, « cet « index » est très critiqué par la communauté scientifique ».
Et, de fait, dans un article publié par la newsletter Interconnects et le blog du groupe de recherche open source Eleuther AI intitulé « Comment l’index de transparence des modèles de fondation déforme la transparence », quatre experts de l’intelligence artificielle – Nathan Lambert, Stella Bideman, Aviya Skowron et SE Gyges – détaillent plusieurs critiques à l’encontre de l’index.
Tous ont travaillé sur le modèle BLOOM-Z ou sont affiliés à des institutions qui ont participé à sa création, indiquent-ils dès l’introduction, aussi illustrent-ils leur propos à l’aide du modèle initié par Hugging Face et ouvert aux spécialistes du monde entier chaque fois que possible.
S’ils admettent l’intérêt de créer ce type d’outils, notamment pour le public non scientifique et les régulateurs, les quatre signataires s’inquiètent notamment de la manière dont la nécessité de transparence dans les grands modèles de langage est présentée par les chercheurs de Stanford. Ils estiment, aussi, qu’approcher le problème sous forme de score réduit nécessairement la nuance nécessaire pour aborder la question de la transparence, la transformant à une simple note qu’il s’agirait d’optimiser.
Ils estiment par ailleurs que l’index est construit de sorte à favoriser les produits d’entreprises privées.
Commentaires (4)
Merci d’avoir pris en compte la remarque de severo_bo et en avoir fait un article après analyse des critiques qui semblent fondées (pour ne pas dire qu’elles ont de solides fondations).
Merci Mathilde pour cet article approfondi qui revient pour ma part à poser la question : Pour toute chose il y a des évaluateurs… Mais qui évalue les évaluateurs ?
Leur méthode d’évaluation est-elle scientifiquement solide et reproductible ? Est-elle efficace et incorruptible ? Est-elle adapté aux changements et aux évolutions rapides du modèle observé ?
…Et MERCI @Flock pour ce magnifique dessin qui évoque, comme un clin d’oeil, “Le Château dans le Ciel” de Maître Hayao Miyazaki !
« Supposons que vous vendiez des armes à feu : êtes-vous un fabricant d’armes “plus transparent” si vous distribuez également des brochures sur les blessures causées par les armes à feu ? »
bah oui, si on part du principe qu’une arme sert à infliger des blessures…
Des châteaux dans le ciel ou des standards sans créativité. J’aime bien citer l’auteur Alexandre Astier à propos de l’IA, mais je vais citer le philosophe Eric Sadin : « C’est un pseudo-langage, une langue morte, une langue frappée par la nécrose. Ces systèmes ingurgitent tous les corpus existants en vue de les soumettre à des traitements statistiques, des analyses mathématiques, afin d’en tirer des lois sémantiques qui sont adossées à des équations probabilistes. »