Pangram sait-il vraiment détecter les textes IA ? Notre test sur plus de 1 000 articles
On peut tromper 1 000 fois un détecteur, mais pas 1 000 détecteurs une fois
Après les tests sur les détecteurs à poids ouverts, passons à un modèle commercial qui fait beaucoup parler de lui : Pangram. Nous lui avons envoyé des centaines d’articles, soit rédigés à 100 % par des humains (depuis notre base de données), soit générés par des IA.
Quasiment 100 % de réussite sur les articles écrits par des humains
En tout, 460 articles humains ont été soumis au détecteur. Pangram en a détecté 450 comme totalement humains, 9 comme principalement humains mais avec quelques passages signalés comme étant GenAI et enfin un seul faux positif identifié comme étant surtout écrit par une IA.
Dans les 460 textes, une trentaine de textes n’avaient jamais été publiés sur Internet, impossible donc pour Pangram d’en trouver la moindre trace (ce sont des brouillons finalisés de certains articles). Gardez en tête un élément important de notre analyse : elle repose sur un corpus d’articles techniques.
- Bilan : 459 textes sur 460 sont bien étiquetés humains.
95 % de réussite sur notre corpus de textes GenAI
Sur les textes générés par IA nous avons multiplié les analyses. Nous avons utilisé 350 textes différents générés par IA, mais au total 570 articles ont été soumis au détecteur Pangram. Il y a parfois plusieurs variantes d’un même texte pour essayer de comprendre les mécanismes du détecteur. Nous y reviendrons.
Commentaires (3)
Aujourd'hui à 11h22
Il y a 16 minutes
À l'instant
Même si l'article est lui même très intéressant
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?