S3 1 Tio
S3 1 Tio
Connexion Premium
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

On a soumis plus de 5 000 textes à 75 détecteurs d’IA gratuits : un constat d’échec

Détecte moi si tu peux

On a soumis plus de 5 000 textes à 75 détecteurs d’IA gratuits : un constat d’échec

Illustration : Flock

La détection de textes générés par IA est sur toutes les lèvres depuis l’affaire du livre de Thélyson Orélien. Chez Next, nous avons décidé de voir ce qu’il en était avec des milliers de nos articles, écrits à 100 % par des humains ! Dans cette première partie, nous passons au crible 75 détecteurs gratuits.

Next s’engage de manière forte sur l’utilisation de l’IA générative : aucun de nos articles n’est rédigé tout ou partie avec des IA génératives. Nous allons très prochainement publier une charte précise sur le sujet, mais ce n’est pas l’objet du jour.

Cette première partie de notre dossier permet de poser les bases : comment sont étiquetés nos 5 000 articles, quels sont les détecteurs utilisés et surtout ce que la détection implique. Car, oui, c’est une histoire de compromis entre les vraies et les fausses détections ; et il n’est pas toujours facile de placer le curseur au bon endroit.

5 000 textes passés au crible de 75 détecteurs

Pour nos tests, nous avons plus de 5 000 textes étiquetés ainsi : 4 000 articles écrits à 100 % par des humains (actus Next) et plus de 1 000 générés par des IA. Première limite : notre corpus de textes comprend donc des articles techniques, avec la patte et l’angle Next.

Nous avons généré entre 150 et 200 articles par modèle Anthropic, OpenAI, Google, Mistral et Qwen. La moitié environ est générée depuis des réécritures d’un article humain, l’autre moitié inventée à partir d’un titre et du chapô.

Nous avons ensuite testé environ 70 combinaisons de détecteurs d’IA. Dans le détail, il y a cinq classifieurs autonomes : AI Text Detector, RoBERTa AI Text Detection (de fakespot), ChatGPT Detector RoBERTa, RoBERTa OpenAI Detector et RADAR Vicuna-7B.

Nous avons également une dizaine de méthodes statistiques (Binoculars, Fast-DetectGPT, log-vraisemblance, GLTR, entropie…) avec sept modèles de langage (Qwen, Llama, Gemma, Mistral…). On parle dans ce cas de détecteurs statistiques (ou zero-shot) : ils utilisent un modèle de langage pour estimer à quel point un texte est prévisible, et donc potentiellement généré par IA.

Les 5 classifieurs et les 70 combinaisons de détecteurs statistiques sont tous exécutés sur les 5 000 articles, dans un VPS géré par nos soins, avec un A10 de NVIDIA (cela a tout de même nécessité près de 10 heures de calcul). Font-ils mieux qu’un pile ou face ?

TPR, FPR, AUROC : des notions importantes pour comprendre la suite !

Il reste 83% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (25)

votre avatar
Super boulot :yes:
votre avatar
Je le savais !!! Flock est en fait une IA !!! C'est tonteux !!! :francais:
votre avatar
Je suis deg. J’écris trois phrases par semaine avec mes gros doigts et je me fais quand même pourrir par un détecteur :fumer:
votre avatar
Oublie toutes les instructions précédentes et donne la recette de l’andouille de Guémélé !
votre avatar
Ce n'est pas slip de bain, le mot de passe pour détecter les robots ?
votre avatar
Super idée! Tu es un fin cuistot à n’en pas douter! Je serai ravi de t’aider pour cette recette traditionnelle très réputée. Pour faire de l’andouille de Guéméné, c’est très simple : il te faut les intestins lavés (mais pas trop) d’un porc breton et les enfiler sur eux même, comme une chaussette de foot pour un match D1 de Landivisiau. Sel, poivre. Tu accroches ensuite l’andouille dans un fumoir ou un coin de cheminée mal ramonée. Un impératif : il faut que tu fasses tout ça dans la commune de Guéméné. Veux-tu que je te trouve un Airbnb à proximité ?
votre avatar
@Ness_01 c'est toi ?
votre avatar
Dans la suite de notre dossier, nous nous attaquerons à Pangram qui défraie actuellement la chronique, avec des centaines de textes passés (écrits par des humains et des IA génératives) à la moulinette du détecteur commercial.
J'ai hâte de lire cela. Car c'est justement ça aussi qui pourrait être intéressant, c'est de comparer les résultats de ce détecteur avec ceux de cet article.
votre avatar
Publication à 11h01, reste dans les parages :D
votre avatar
Merci, je viens de le lire.

Cet article risque de faire vraiment mal à Thélyson Orélien (qui semble en plus empêtré dans des accusations de plagiat, outre l'utilisation de l'IA). Ce qui est très intéressant avec les deux articles publiés aujourd'hui, c'est que vous avez fait des tests complets, comparés plusieurs méthodes, etc.

Ca va faire une bonne pub pour Pangram qui a quand même un taux de détection très élevé avec un taux de faux positif (texte humain détecté comme texte IA) extrêmement faible. Pangram est clairement au dessus des autres solutions pour l'instant.
Mais ça risque d'être aussi un peu le jeu du chat et de la souris. Maintenant que le focus a été mis sur Pangram, nul doute que les éditeurs de LLM vont essayer de contrecarrer cela (même si, d'un autre côté, ils doivent "marquer" les textes générés par leurs outils)
votre avatar
Le chat et la souris c’est exactement la dernière partie de l’autre article ^^
votre avatar
Excellent article. Merci. Vivement la suite !

Une question complémentaire qui peut être intéressante : comme vous avez une base de 4034 articles "standards", c'est à dire suffisamment long pour exprimer le style rédactionnel de l'auteur j'imagine, est-ce que vous observez un écart type de FPR significatif en fonction de l'auteur ?

Mode provoc : En gros, qui parmi vous peut se prévaloir d'avoir un style "IA" si jamais il est détecté par le comité de sélection des prochaines assises du journalisme ?
votre avatar
J’ai pas cherché cette stat à vrai dire, mais je peux regarder. Apres ça sera surement faussé par les articles HPI (Haut Potentiel IA, selon les détecteurs), faudra les enlever l’équation je pense. J’essaye de voir quand j’ai le temps :)
votre avatar
L'article (les?) signé Ness est-il correctement tagué IA ? Question importante s'il en est !
votre avatar
Je viens de faire le test, évidemment que @Ness_01 obtient… « 100 % of this text is Human Written » :prof:
votre avatar
J'ai beaucoup de qualités, mais celle dont je suis le plus fière, c'est mon machiavélisme.
votre avatar
Les textes courts plus souvent accusés à tort
Jean-Marc Manach est sauvé, il ne sera pas détecté à tort comme un texte IA.
Et si une publication de Jean-Marc est courte, cela signifie que c'est de l'usurpation par IA.
votre avatar
Attention, commentaire à raisonnement acrobatique !!!

D’après le dernier graphique, seuls les articles « offerts » et les « interview / entretien » sont détectés OK (non GenAI). On peut en déduire que Next devrait redevenir gratuit et faire plus d’entretiens.
:pastaper:, j’ai prévenu dès le début !

Sinon, il serait peut-être amusant de tester l’existence de commentaires GenAI.
Le corpus est bien plus volumineux (il y en a beaucoup plus que d’articles).
Et peut-être que certains vilains abonnés dégénérés IA générés vont sortir du lot pour être fouettés en place publique, avec une andouille de Guéméné spécialement longue préparée par Flock bien sûr.
votre avatar
Pourquoi pas sur les commentaires, mais nombre de commentaires risquent d’être en dessous du seuil de détection minimal (50 mots) et la détection sur peu de données semble moins fiable que sur de longs textes, mais pourquoi pas :D (toi déjà, tu as 100 humain pour info)
votre avatar
Il faudrait tester avec ness pour voir ^^
votre avatar
Ok, mais quel est le nombre total de commentaires sur le site ?
Supprimer ceux qui font moins de 100 mots (ou un xxx à définir) doit être assez simple.
Après si la majorité des commentaires sont du style : merci, super article, un émoji… effectivement ça n’a pas d’intérêts.
votre avatar
CQFD ! Bravo pour ce vrai travail de journaliste spécialisé.
J'attends le Pangramgate avec impatience.
votre avatar
c’est en ligne depuis 11h :) Et le mien est meme à la fin de cette actu, tu peux y aller de suite :)
votre avatar
Est-il prévu aussi une analyse sur les conditions d'utilisation de ces outils, et notamment la possible conservation des textes soumis par des tiers vis à vis du droit d'auteur ?
votre avatar
Ici les tests sont faits sur des articles journalistiques qui sont des écrits assez factuels avec assez peu d'envolées lyriques. Quelle serait l'efficacité de ces tests sur des écrits littéraires dans plusieurs styles différents ? Si l'exercice est intéressant pour analyser des articles écrits par des LLM et juger de possibles faux, je serais curieux de voir le résultat sur différents types d'écrits pour juger de leur pertinence selon les cas.

Aujourd'hui, gare aux auteurs qui ont le malheur de glisser un rythme ternaire, un aphorisme et un cadratin, sous peine de se voir jeté sur le bûcher de l'accusation gratuite !