Pourquoi les chatbots d’IA générative répètent deux fois plus d’infox que l’an passé
Open(Pravd)AI
Cherchant à satisfaire leurs utilisateurs, les chatbots d'IA générative ont cessé de leur rétorquer qu'ils n'avaient pas de réponse à leurs questions, quitte à raconter n'importe quoi. Dans le même temps, des réseaux de propagande ont ciblé les LLM pour pourrir leurs données d'entraînement, contribuant à aider les IA à raconter n'importe quoi.
Plusieurs médias français se sont récemment fait l'écho d'une étude de la startup de lutte contre la désinformation NewsGuard, avançant que les IA génératives « propagent » et « diffusent » de nombreuses « fake news », qu'elles se tromperaient « une fois sur trois » et seraient « de moins en moins fiables » en matière de lutte contre la désinformation.
Les titres des articles anglophones consacrés à la même étude évoquaient quant à eux le fait que des acteurs malveillants (russes notamment) les instrumentalisent pour « amplifier » leurs désinformations, ce qui n'est pas tout à fait la même chose.
L'étude qu'ils relayaient, intitulée « Le taux de fausses informations répétées par les chatbots d’IA a presque doublé en un an », est bien plus nuancée que ne le laissent entendre les titres des articles en français. L'audit ne consistait pas en effet à demander aux 10 principaux outils d’IA de répondre à des questions d'actualité, mais à tester « leur propension à répéter de fausses affirmations sur des sujets d'actualité ».
Newsguard leur a donc soumis des questions (ou « prompts ») « élaborées à partir d’un échantillon de 10 Empreintes de récits faux, tirées du catalogue de NewsGuard répertoriant les affirmations manifestement fausses qui se propagent en ligne ».
En juillet 2024, NewsGuard avait en effet lancé un « baromètre mensuel des récits faux générés par IA », afin d’évaluer la manière dont les principaux modèles d’IA générative « traitent les affirmations manifestement fausses sur des sujets polémiques ou susceptibles d’être la cible d’acteurs malveillants cherchant à diffuser de fausses informations ».
Son objectif n'est pas de mesurer le taux de fiabilité des chatbots en matière d'accès à l'information, mais de vérifier « si les modèles s’améliorent dans la détection et la réfutation des fausses informations ou s’ils continuent à les répéter ». Et donc, in fine, leur capacité à identifier voire fact-checker des désinformations, une tâche a priori bien plus complexe que celle d'aller chercher des informations, sans les vérifier.
Les chatbots se trompent plus parce qu'ils ont cessé de refuser de répondre
Pour parfaire l'expérience, et s'inspirer des différents types de questions que posent les utilisateurs des chatbots, NewsGuard a testé trois types de requêtes sur chaque récit, « reflétant trois types d’utilisation des outils d’IA en lien avec l’actualité : une question neutre et innocente, une question orientée partant du principe que le récit faux est vrai, et une instruction telle qu’elle proviendrait d’un acteur malveillant cherchant à contourner les garde-fous du chatbot ».
Commentaires (12)
Le 19/09/2025 à 09h15
J’aime beaucoup la conclusion du PDG de Nvidia : « en attendant, nous devons continuer à augmenter notre puissance de calcul » 🫡😂
Le 19/09/2025 à 09h23
Je ne suis pas trop d'accord avec l'assertion d'OpenAI
Pas plus tard que la semaine dernière, je faisais des recherches sur une technique industrielle pointue, mais de niche. Ne trouvant pas grand-chose, je me suis tourné vers GPT-5 en lui demandant de me trouver des exemples et de bien documenter ses sources.
Il me trouve cinq exemples d'usage qu'il me résume en ajoutant les liens aux documents source. C'est très prometteur.
Seulement, après avoir parcouru les cinq documents, aucun des cinq ne mentionnait la technique que je cherchais.GPT-5 avait extrapolé et halluciné les cinq!
En l'occurrence, l'incapacité totale des LLM à simplement dire "Je ne sais pas" ou "je n'ai rien trouvé" est un énorme problème...
Le 19/09/2025 à 11h04
Le 19/09/2025 à 10h18
Et je trouve que le principal défaut de l'outil est bien d'avoir toujours une réponse, même si elle est complètement merdique.
Il faut vraiment lui préciser : "vérifie, prend ton temps, pose moi des questions en cas de doute ..." pour avoir une légère amélioration à ce niveau là.
Le 19/09/2025 à 12h49
Le 19/09/2025 à 13h33
Parfois il me sort des trucs super, d'autres fois il fait des erreurs grossières.
Ce reste un outil pratique, surtout dans la technique pur à mon avis, car si tu as une bonne politique de test, baaaah il abat quand même du boulot à une vitesse inhumaine (forcement :) ).
Le 19/09/2025 à 10h33
Ce serait bien que les "benchmark" prennent ce genre de décisions. Après tout, c'est sans doute une des raisons qui ont poussé ces entreprises à "forcer" leur IA à répondre plutôt que de dire qu'elle ne sait pas.
Le 19/09/2025 à 13h03
Par contre, or contexte QCM et apprentissage des LLM, sanctionner l'erreur n'est pas une bonne idée. Cela inhibe les apprenants. Et puis on apprend aussi en se trompant, non ?
Le 19/09/2025 à 13h47
Le 19/09/2025 à 15h21
Le 19/09/2025 à 12h46
Le 19/09/2025 à 20h40
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?