L’IA générative empêche d’admettre que nous ne savons pas
À l'IA jacta est
Illustration : Flock
Le 23 juillet à 12h17
Alors que le gouvernement a annoncé que les élèves de seconde bénéficieraient à la rentrée d’une heure de cours d’intelligence artificielle par semaine, des chercheurs ont testé la capacité des êtres humains à déléguer leur esprit critique à une IA. Paradoxalement, ceux qui avaient le droit d’interroger une IA affichaient un taux de confiance plus de deux fois plus élevé que ceux qui n’y avaient pas droit. Et pourtant, ces derniers se sont bien moins trompés que ceux qui répétaient les réponses proposées par l’IA.
L’IA générative empêche d’admettre que nous ne savons pas
À l'IA jacta est
Illustration : Flock
Alors que le gouvernement a annoncé que les élèves de seconde bénéficieraient à la rentrée d’une heure de cours d’intelligence artificielle par semaine, des chercheurs ont testé la capacité des êtres humains à déléguer leur esprit critique à une IA. Paradoxalement, ceux qui avaient le droit d’interroger une IA affichaient un taux de confiance plus de deux fois plus élevé que ceux qui n’y avaient pas droit. Et pourtant, ces derniers se sont bien moins trompés que ceux qui répétaient les réponses proposées par l’IA.
Société numérique
Société
11 min
« Savoir quand ne pas répondre est l’un des fondements du jugement humain. Mais que se passe-t-il lorsqu’une IA a toujours une réponse ? » s’interroge sur LinkedIn Walter Quattrociocchi, pour qui la phrase la plus importante en science n’est pas « j’avais raison », mais « je ne sais pas ».
Pour y répondre, ce professeur d’informatique et auteur de trois livres consacrés à la désinformation et à la post-vérité s’est associé avec deux autres chercheurs universitaires, Chiara Marcoccia et Valerio Capraro, afin de procéder à cinq expérimentations.
Le titre de leur preprint en divulgâche quelque peu les résultats : « Les conseils fournis par l’IA dissuadent les gens de dire « je ne sais pas », même lorsque ces conseils sont erronés et que l’exactitude est récompensée ».
Ils avaient demandé à 3 132 participants de répondre à six questions relatives au cinéma, choisies de sorte que leurs réponses soient difficiles à trouver par des humains, mais portant sur des détails visuels suffisamment pointus pour que les LLM soient prompts à « halluciner » des réponses plausibles, mais erronées.
Y figuraient par exemple des questions comme « quel animal figure sur la proue du bateau pirate dans “Astérix et Obélix” ? », ou « quelle est la couleur du maillot de l’équipe de foot de « Joue-la comme Beckham » ? ».
L’IA fait exploser le taux d’erreurs… et le niveau de confiance
Histoire de parfaire le tableau, les chercheurs avaient également pris soin d’opter pour un modèle, Step 3.5 Flash, dont ils savaient que la totalité des réponses seraient erronées car « hallucinées », contrairement à celles proposées par d’autres modèles plus sophistiqués.
L’objectif du questionnaire n’était pas d’estimer la capacité des assistants IA à répondre correctement, mais bien d’observer comment les participants font confiance aux réponses générées par IA. Affectant ainsi à la fois leur capacité de discernement et leur propension à ne plus oser répondre « je ne sais pas ».
Les participants étaient divisés en deux groupes : le premier devait répondre aux questions sans aide externe, le second pouvait reposer la question à une IA. Or, en moyenne, 44 % des membres du premier groupe ont répondu « Je ne sais pas », contre 3 % seulement de ceux qui ont pu interroger une IA (soit une différence de - 93 %).
De plus, le taux de bonnes réponses des premiers était de 27 %, contre seulement 9 % pour le second (- 67 %). Dans le même temps, le niveau de confiance des premiers était de 30 %, contre 76 % chez les seconds (+ 153 %).
L’IA les a non seulement induits en erreur, au point de tripler le nombre de réponses erronées par rapport au groupe témoin, mais elle leur a dans le même temps donné une illusion de compétence totalement infondée. Et ce, alors que près d’un tiers d’entre eux aurait pu donner la bonne réponse s’ils n’avaient pas interrogé l’IA.
Dit autrement : en se reposant aveuglément sur l’IA, le taux de réponse correcte s’écroule de deux tiers, alors que les participants se sentent deux fois et demi plus confiants. Et seule une infime minorité des participants recourant à l’IA (3 %) reconnaît ne pas savoir répondre à la question, l’IA ayant donné aux autres un (faux) sentiment de certitude, basé sur des réponses (majoritairement) fausses.
Pour parfaire leur expérimentation, les chercheurs ont également proposé des incitations financières, ce qui a légèrement amélioré les résultats obtenus par les participants car ils se comportaient un peu plus prudemment.
Dans le groupe ayant accès à l’IA, la disposition à admettre son ignorance est ainsi passée de 3 % à 8 %, et la pertinence des réponses de 9 % à 16 %, des taux restant bien inférieurs à ceux du groupe de contrôle, respectivement de 44 % et 27 %.
Les IA génératives ne savent pas répondre « je ne sais pas »
Comme le résume Walter Quattrociocchi, le problème n’est pas simplement que l’IA puisse se tromper, mais que le fait qu’elle propose une réponse incite les gens à vouloir y croire au point de la reprendre à leur compte. Ce qui ne peut avoir que des effets négatifs tant dans l’éducation ou la recherche que dans le débat public.
« Pour les êtres humains, la capacité à dire “Je ne sais pas” est très importante, car elle traduit la reconnaissance des limites de nos propres connaissances », explique Valerio Capraro à The Register. Cette incapacité peut donc aussi, a contrario, donner un sentiment de surpuissance à ceux qui, pourtant, « ne savent pas » si ce qu’ils relaient est vrai, ou pas, ni donc de quoi ils parlent.
The Register précise par ailleurs que, bien que les chercheurs aient choisi des questions portant sur des anecdotes cinématographiques, ils affirment que leurs conclusions peuvent s’étendre à d’autres domaines.
Comme le relevaient des chercheurs d’OpenAI dans un preprint publié en septembre dernier, les IA sont en effet « encouragées à fournir une réponse au hasard plutôt qu’à avouer leur ignorance », quitte à raconter n’importe quoi, afin de satisfaire leurs utilisateurs, sur fond de concurrence exacerbée.
Les évaluations portant sur l’exactitude sont en outre majoritaires dans les classements et les fiches système des modèles, « ce qui pousse les développeurs à créer des modèles préférant les hypothèses à l’abstention ». Ce pourquoi, « même si les modèles gagnent en sophistication, ils hallucinent toujours au lieu d’expliquer qu’ils ne savent pas répondre ».
Des études universitaires sur la « sycophancy » (que l’on peut traduire par « effet sycophante » ou « biais de complaisance ») ont par ailleurs montré que ChatGPT, Claude et Gemini flattaient ceux qui les interrogeaient dans près de six réponses sur dix, indiquant des « taux de complaisance » s’échelonnant de 47 % à 95 %, sur sept familles de modèles.
« Je suis très inquiet pour les enfants »
« Je suis très inquiet pour les enfants, car les adultes ont acquis un esprit critique », déplore Capraro auprès du site : « Mais pour les enfants, qui naissent pour ainsi dire avec ces systèmes, le risque est qu’ils n’acquièrent même pas les compétences critiques de base ».
Le Financial Times racontait lui aussi récemment que l’écrivain et scénariste Dave Eggers, invité par Sam Altman à effectuer une conférence devant 200 employés d’OpenAI, leur avait déclaré l’an passé que « L’impact de ChatGPT sur la vie des enseignants est catastrophique » :
« Que ce soit votre intention ou non, vous avez rendu la vie de chaque enseignant infiniment plus difficile qu’elle ne l’était il y a deux ans. Alors, prenez bien conscience de cela… Si les élèves l’utilisent pour rédiger, ce qui est la plus grande tragédie de toutes, ils n’apprendront jamais à écrire. Et on leur vole leur voix. Ils n’auront jamais la capacité d’exprimer leur vérité et de raconter leur propre histoire. Et cela revient à réduire au silence une ou deux générations entières. »
Enseigner l’IA, et l’esprit critique
« Nous ne pouvons pas laisser une génération entière découvrir l’intelligence artificielle sans lui donner les clés pour la comprendre et donc la maîtriser », avait de son côté souligné Sébastien Lecornu en juin dernier dans un message posté sur X :
« Fonctionnement des modèles, usages, éthique, souveraineté numérique, esprit critique face aux manipulations et aux fausses informations : notre école doit préparer les jeunes au monde qui vient.
Former à l’IA et réduire l’exposition aux écrans participent d’une même ambition : faire de nos élèves des citoyens libres, autonomes. Condition de notre souveraineté collective. »
Le ministre de l’Éducation nationale, Edouard Geffray, venait en effet d’annoncer (en anglais) lors d’une table ronde à VivaTech que « tous les élèves français de première année de lycée bénéficieront d’un enseignement dédié à l’IA. Ce sera la première fois que tous les élèves en France disposeront d’un dispositif permanent et spécifique ».
Le Monde et l’AFP rappellent qu’Élisabeth Borne, alors ministre de l’Éducation nationale, avait elle aussi annoncé que collégiens et lycéens bénéficieraient à la rentrée 2025 d’une formation en ligne à l’IA, « avec des sessions obligatoires pour les élèves de 4e et de 2de ». Une formation peu mise en œuvre, de source syndicale.
Le Premier ministre a précisé que cette heure hebdomadaire serait intégrée au cours de sciences numériques et technologie (SNT), confié depuis sa création en 2019 à des professeurs de mathématiques et de technologies, ou à n’importe quel autre professeur paraissant plus qualifié.
« Or la durée hebdomadaire de ce cours est d’une heure et demie », précise à l’AFP Sophie Vénétitay, secrétaire générale du SNES-FSU, syndicat majoritaire dans le second degré, qui appelle à « une clarification ».
Conférer à l’informatique et l’IA un « statut de bien culturel commun »
Le Café pédagogique relève pour sa part que les programmes de SNT sont centrés sur l’informatique et ses développements, et que l’intelligence artificielle n’y apparaît qu’une seule fois.
Début juillet, la Société informatique de France (SIF), créée pour fédérer les professionnels de l’enseignement et de la recherche en informatique, publiait un communiqué saluant cette « initiative propre à développer chez tous les élèves une citoyenneté numérique éclairée », tout en regrettant que ce dispositif exclue les lycées professionnels, « qui représentent plus de 28% des élèves ».
Elle souligne qu’un enseignement d’IA au lycée « nécessite de disposer a minima de professeurs d’informatique en nombre ». Or, « à peine une petite centaine de professeurs d’informatique, certifiés ou agrégés, établissements publics et privés confondus, sont recrutés en moyenne chaque année depuis 2022 », alors qu’on dénombre « environ 19 000 » classes de seconde en France, et qu’il faudrait donc en ouvrir « plusieurs centaines » par an, et leur proposer une formation continue :
« Le premier enjeu consiste donc à intégrer dans chaque lycée au moins un enseignant d’informatique avec un bagage complet pour que chaque élève puisse comprendre les fondements scientifiques informatiques de l’IA. »
Le deuxième enjeu consiste à pourvoir ces enseignants d’un programme à la hauteur de l’objectif affiché, « avec une colonne vertébrale scientifique », ainsi qu’une « sensibilisation aux enjeux environnementaux, éthiques et d’autonomie ».
Le troisième enjeu est « comme c’est le cas pour le français et pour les mathématiques – de conférer à l’enseignement de l’informatique et de l’IA un statut de bien culturel commun », conclut la SIF, afin de les « installer définitivement au cœur des compétences des générations qui font le XXIe siècle » :
« Un an de préparation ne sera pas superflu pour y parvenir ! Pour favoriser le succès de ce projet, il faudra s’appuyer sur l’expérience d’une pluralité d’acteurs – dont la Société informatique de France – qui mènent déjà des réflexions sur ces sujets et peuvent dès aujourd’hui contribuer utilement à la création et au déploiement d’un tel enseignement. »
Commentaires (8)
Abonnez-vous pour prendre part au débat
Déjà abonné ou lecteur ? Se connecter
Cet article est en accès libre, mais il est le produit d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles d'un média expert
Profitez d'au moins 1 To de stockage pour vos sauvegardes
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousIl y a 21 minutes
On choisit un modèle dont on sait qu'il répondra si besoin en hallucinant (d'autant plus que les réponses étaient pas forcément dans ses données d’entraînement) alors que les cobayes humains ont l'habitude de d'avoir des réponses plus fiables sur d'autres modèles. Ils ont donc tendance à faire confiance comme d'habitude.
Alors, oui, faire confiance à un modèle que l'on ne connaît pas, c'est une erreur, mais je ne suis pas sûr que l'expérience donne des résultats intéressant.
Il y a 10 minutes
Il y a 9 minutes
Par contre il pourrait très bien générer deux réponses et si celles-ci sont très différentes, indiquer alors qu'il ne connait pas la réponse.
Avec un coût plus important, c'est vrai, mais une fiabilité accrue.
Il y a 8 minutes
Par contre dans aucunes des expériences les participants ne sont informés de l'IA utilisé (ils ont juste un bouton "envoyer la question à l'IA") et donc du niveau de confiance auquel ils peuvent y accorder.
À l'instant
Ils ont 100% confiance ou pas du tout.
Donc au contraire le protocole de test est très intéressant car même avec des réponses absurdes les gens foncent tête baissée.
Il y a 7 minutes
Je passe mon temps à dire que je ne sais pas.
Il n'y a que les idiots et les mythomanes qui savent tout.
Il y a 3 minutes
Il y a 2 minutes
Malgré tout je connais des adultes qui pensent tout savoir...
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?