S3 1 Tio
S3 1 Tio
Connexion Premium
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

Pangram sait-il vraiment détecter les textes IA ? Notre test sur plus de 1 000 articles

On peut tromper 1 000 fois un détecteur, mais pas 1 000 détecteurs une fois

Pangram sait-il vraiment détecter les textes IA ? Notre test sur plus de 1 000 articles

Illustration : Flock

Après les tests sur les détecteurs à poids ouverts, passons à un modèle commercial qui fait beaucoup parler de lui : Pangram. Nous lui avons envoyé des centaines d’articles, soit rédigés à 100 % par des humains (depuis notre base de données), soit générés par des IA.

Quasiment 100 % de réussite sur les articles écrits par des humains

En tout, 460 articles humains ont été soumis au détecteur. Pangram en a détecté 450 comme totalement humains, 9 comme principalement humains mais avec quelques passages signalés comme étant GenAI et enfin un seul faux positif identifié comme étant surtout écrit par une IA.

Dans les 460 textes, une trentaine de textes n’avaient jamais été publiés sur Internet, impossible donc pour Pangram d’en trouver la moindre trace (ce sont des brouillons finalisés de certains articles). Gardez en tête un élément important de notre analyse : elle repose sur un corpus d’articles techniques.

  • Bilan : 459 textes sur 460 sont bien étiquetés humains.

95 % de réussite sur notre corpus de textes GenAI

Sur les textes générés par IA nous avons multiplié les analyses. Nous avons utilisé 350 textes différents générés par IA, mais au total 570 articles ont été soumis au détecteur Pangram. Il y a parfois plusieurs variantes d’un même texte pour essayer de comprendre les mécanismes du détecteur. Nous y reviendrons.

Il reste 81% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (62)

votre avatar
:dix:
votre avatar
très intéressant! merci
votre avatar
Merci Sebastien pour le dernier paragraphe qui m’a fait pouffe de rire
Même si l'article est lui même très intéressant
votre avatar
Une dernière chose : le texte de cette actualité a été passé dans Pangram juste avant sa publication : « 100 % of this text is Human Written », ouf !
Et là, il se trompe si j'ai bien compris, puisqu'il y a des citations de textes générés par IA ou « humanisés » là aussi par IA.
votre avatar
Oui, forcément ces parties sont GenAI, mais dans des citations et le texte est relativement court, suivant comment Pangram gère les citations ça peut influencer. De mes nombreux tests, je remarque aussi une tendance de pangram a associer du texte à un humain s’il est proche de gros blocs identifiés humain (idem avec IA). C’est le cas ici, deux petits blocs dans une vague détectée humaine, l’effet de lissage peut jouer un rôle.
votre avatar
Merci pour l'article.
Donc on est "fortement incité" à utiliser un palanquée d'outils qui ne se trompent que "très peu souvent" mais dont les résultats sont pris pour argent comptant ( parce que, quand même, on gagne un temps fou! On peu aller plus vite!).
Ces resultats ont un impact très concret dans la vie réelle.

On ne peut donc plus être sûr de rien.
Bienvenue dans l'ère de la post-post-vérité, où les faits sont discutables.

Ça va nous aider tiens...
votre avatar
Plus qu'à passer cet article au détecteur !
(oui, même avec la dernière phrase, elle est là pour nous induire une erreur, c'est typiquement ce qu'une IA dirait)
votre avatar
Caramba, mon plan est découvert !
votre avatar
Une dernière chose : le texte de cette actualité a été passé dans Pangram juste avant sa publication : « 100 % of this text is Human Written », ouf !
Ce qui signifie que l'article à des lourdeurs, des répétitions et des fautes d'orthographe ;) C'est du journalisme de mauvaise qualité, je me désabonne de suite!

Plus sérieusement, il y a pleins d'articles dans les journaux "grands publics", plein de blabla et les sections commentaires qui regorgent de pépites lunaires, oui, des pépites lunaires, j'invente des expressions si je veux!... mais aucun ne fait le test pour concrètement vérifier comment Pangram se comporte afin de pouvoir parler en connaissance de cause...

Bref, encore bravo à Next pour ce travail de fourmis à tout décortiquer et tout tester.

:pciwin:
votre avatar
Pangram le reconnaît d’ailleurs sans problème. Mais la force de Pangram est de se tromper très peu souvent, ce qui est en effet le cas sur nos différents textes.
Donc, on ne peut rien tirer de cet outil pour un cas donné.
votre avatar
On peut en tirer des présomptions
votre avatar
Sans doute, sauf qu'on ne peut pas décider sur la base de présomptions. L'utilité de ce genre d'outil est assez légère.
votre avatar
Dans le cas de la polémique actuelle, difficile d'imaginer que le livre ne soit pas fait par de l'IA. Nous n'en aurons jamais la certitude, mais tous les extraits essayés par les anciens livres écrit avant 2022 du même auteur sont détecté à 100% comme humain par Pangram. Sébastien Gavois montre que Pangram ne se trompe que très rarement dans ce sens.
Et si j'ai bien compris la polémique, tous les extraits testés indique une écriture IA.

Ce sont de très fortes présomptions.

Il faudrait que Pangram se trompe sur tous les extraits et que l'auteur ait changé complètement sa manière d'écrire. Ça fait des sacrés coïncidences.
votre avatar
pour la polémique, les doutes sur l'usage de l'IA ont focalisé l'attention sur ses écrits antérieurs. On y a découvert plusieurs plagiats.

Du coup, la découverte de plagiat couplé à de très fortes suspicions de l'usage de l'IA via un outil, certes pas sans faille, mais quand même très précis (moins de 0.5% d'erreur dans ce sens là), pour ma part, offre une quasi-certitude.

C'est triste ce que je vais dire, mais j'aurais juste préféré que l'auteur soit "caucasien". Cela nous aurait évité les excuses sur les attaques racistes...
votre avatar
On adoube l'IA comme créateur de contenus et on disqualifie l'humain qui l'aurait utilisée. En gros, on inverse les responsabilités.
votre avatar
C'est triste ce que je vais dire, mais j'aurais juste préféré que l'auteur soit "caucasien". Cela nous aurait évité les excuses sur les attaques racistes...
Sauf que c'est parce qu'il est racisé qu'il est ciblé. Des auteurs blancs plagiaires (reconnus comme tels) qui continuent à profiter de "leurs" écrits, il y en a quantité, et certains ont même pris position contre TO.

L'origine de l'attaque venant de l'ED et d'un pourri qui a trempé dans l'affaire du fonds Marianne, et qui a menti à la presse (alors qu'il est lui même censé se conformer à la déontologie journalistique), tous ceux qui se jettent sur Orélien en sentant le sang, aussi louables soient leurs intentions, participent à un harcèlement raciste.

Edit :
moins de 0.5% d'erreur dans ce sens là)
Selon la police. On ne peut pas statuer sur un résultat non explicable et non garanti.
votre avatar
Sauf que c'est parce qu'il est racisé qu'il est ciblé. Des auteurs blancs plagiaires (reconnus comme tels) qui continuent à profiter de "leurs" écrits, il y en a quantité, et certains ont même pris position contre TO.
C'est aussi parce qu'il était ~lauréat~ sélectionné pour le prix Goncourt. La nationalité de l'auteur, son origine, ses opinions etc. importe peu dans le cadre de ce scandale. D'où ma réflexion dans mon commentaire précédent.

Etre potentiellement récompensé pour un livre qu'on n'a pas vraiment écrit, pour ma part, je ne trouve pas cela vraiment normal, et cela relève de la malhonnêteté intellectuel. Que les sélectionnés d'un prix comme le prix Goncourt soit passé au crible, ne m'étonne donc pas.

Le fait qu'il soit racisé, bien évidemment (malheureusement !) provoque une récupération massive de l'ED. Mais le problème de fond reste le même.
votre avatar
C'est aussi parce qu'il était lauréat pour le prix Goncourt.
Déjà le 3 novembre 2026 ? Que le temps passe vite !

Sur le fond, tu réécris un peu l'histoire.
@deathscythe0666 a raison : il a été attaqué au départ parce qu'il était racisé, sinon, son texte n'aurait même pas été testé.

L’académie Goncourt pouvait difficilement le garder dans sa liste suite à ces suspicions et de toute façon, même s'ils l'avaient gardé, le jury ne l'aurait pas choisi à cause de ces suspicions.
Comme l'a dit @AlexandreLaurent dans son article, la position de l'académie est maladroite, elle mélange une suspicion sur l'œuvre sélectionnée et des accusations de plagiat sur des œuvres précédentes mais pas celle-ci. Parler de passer au crible les lauréats du Goncourt quand on se souvient de la vie devant soi, ça me fait hurler de rire !

J'utilise à dessein le mot suspicion parce qu'une boîte noire ne sera jamais une preuve, sauf dans les cas des accidents d'avion, bien entendu, mais là, non seulement elles ne sont pas noires, mais en plus, on sait parfaitement comment elles fonctionnent contrairement à Pangram.
votre avatar
Déjà le 3 novembre 2026 ? Que le temps passe vite !
J'ai corrigé merci :chinois: J'ai fais un malheureux amalgame entre le Goncours (où il était sélectionné) et le prix Fnac (où il est bien lauréat)
@deathscythe0666 a raison : il a été attaqué au départ parce qu'il était racisé, sinon, son texte n'aurait même pas été testé.
jusqu'à preuve du contraire, pour l'instant, le compte Balance ton claude n'a pas vraiment de couleur politique, et la volonté affiché du compte est quand même de balancer ceux qui use de l'IA sans le dire.

Thélyson Orélien est un auteur qui rencontre actuellement un certain succès. Quoi de plus normal de s'intéresser à lui dès lors ? Le compte Balance ton Claude aurait pu s'attaquer aux écrits de @SebGF , mais je crains que l'impact aurait été moindre.

Par contre oui, cela a été très repris par l'ED. Mais l'ED qui fait de la récupération politique de tout et de rien, c'est pas nouveau...
L’académie Goncourt pouvait difficilement le garder dans sa liste suite à ces suspicions et de toute façon, même s'ils l'avaient gardé, le jury ne l'aurait pas choisi à cause de ces suspicions.
Nous sommes d'accord. Et même s'il ne s'agit que de suspicions (assez forte, il faut l'avouer), le caractère douteux (plagiat avéré dans le passé) tant à inciter à une prudence accrue face à une personne ayant eu, par le passé, un comportement intellectuellement discutable.
votre avatar
jusqu'à preuve du contraire, pour l'instant, le compte Balance ton claude n'a pas vraiment de couleur politique
Désolé, mais renseigne-toi un peu avant d'affirmer des choses fausses.

Ça fait plusieurs jours que l'on connaît au moins une des personnes se cachant derrière ce compte et elle est très à droite et anti-woke comme par hasard !
votre avatar
Désolé mais non. Oui, je suis au courant d'une des personnes qui est derrière le compte. Est-ce pour autant que le compte lui-même l'est ? Non.

C'est comme dire que toute asso ayant des bénévoles d'ED sont des assos ED....
votre avatar
Désolé mais non. Oui, je suis au courant d'une des personnes qui est derrière le compte. Est-ce pour autant que le compte lui-même l'est ? Non.
On s'en fiche un peu des autres derrière le compte (s'ils existent, puisque finalement on n'en sait rien au fond). Celui qu'on connaît, c'est un type d'ED qui officie au Figaro, et c'est lui qui a lancé cette affaire. Donc ce n'est pas repris par l'ED, c'est lancé par l'ED.
votre avatar
Son interview au Figaro à propos de l'affaire Thélyson Orélien est instructive.

Samuel Fitoussi s’explique sur l’affaire Thélyson Orélien : «Les gens auraient moins aimé ce livre s’ils avaient su qu’il avait été largement généré par une IA»
lefigaro.fr Le Figaro
votre avatar
c'est quand même paradoxal comme argument. On s'en fiche des autres, mais on s'en fiche pas de l'un d'eux. Ou bien on se fiche de tout le monde, ou bien on se fiche de personne, mais on ne choisit pas de qui on se fiche ou pas en fonction de ce qui nous arrange...
votre avatar
Tu fais exprès de pas comprendre ? S'il existe d'autres personnes derrière ce compte (ce que rien ne prouve jusqu'à aujourd'hui), en quoi est-ce pertinent au vu du fait que c'est un sbire de l'ED qui "révèle" l'affaire ? Fitoussi a bien choisi sa cible au lieu d'un blanc bien établi dont les fraudes sont avérées, on se demande bien pourquoi.

Et on rappelle que balancer des choses comme ça (de la diffamation), ça a valu une astreinte à une femme qui s'est fait, elle, insulter par un crétin et dont elle a publié l'insulte. Et il me semble que tu étais d'accord qu'elle n'avait pas à faire ça.
votre avatar
Tu fais exprès de pas comprendre ? S'il existe d'autres personnes derrière ce compte (ce que rien ne prouve jusqu'à aujourd'hui), en quoi est-ce pertinent au vu du fait que c'est un sbire de l'ED qui "révèle" l'affaire ?
Je ne suis franchement pas pour l'extrême droite (je préfère le préciser, au cas où). Mais je suis désolé, un compte qui balance un élément étayé (qu'on soit d'accord ou pas avec l'usage de Pengram n'est pas la question ici) et pas juste un truc en l'air, on devrait l'ignorer sous prétexte que derrière il y a une personne d'ED ? On oublie complètement le message (très très forte suspicions de "tromperie") pour taper sur le messager (putain, j'en suis presque à défendre l'ED, je me donne envie de vomir).

Parce que le mec est d'ED, alors il a choisi sa cible parce qu'elle est racisée ? On occulte complètement le fait que c'est un auteur qui rencontre actuellement un grand succès, qui a reçu des prix, qui est sélectionné pour d'autres, et dont on parle beaucoup ces derniers temps.

Je ne dis pas que le mec n'a pas agit en fonction de ses convictions personnelles. Je dis qu'on ne peut pas le savoir, tout comme on ne peut pas savoir à 100% que Thélyson Orélien a utilisé l'IA ou non pour son roman.

Mais ça ne pose pas de problème à certains pour évoquer le doute et la présomption d'innocence pour l'un, et fustiger l'autre sans aucune forme de retenue.
(ce que rien ne prouve jusqu'à aujourd'hui)
Fitoussi l'a dit. Comme c'est lui qui a dit qu'il était derrière le compte. Donc pareil, qu'est-ce qu'on fait ? On choisi de croire Fitoussi quand il dit que c'est lui mais de ne pas le croire quand il dit qu'ils sont plusieurs ? Là encore, on choisi donc ce que l'on doit croire ou pas ? Sur quelle base ?
Et on rappelle que balancer des choses comme ça (de la diffamation), ça a valu une astreinte à une femme qui s'est fait, elle, insulter par un crétin et dont elle a publié l'insulte. Et il me semble que tu étais d'accord qu'elle n'avait pas à faire ça.
Si tu fais référence à cet article du relou numérique, tu dois me confondre avec un autre, car je n'ai justement pas commenté cet article, et tu me prêtes donc une position sans savoir ce qu'elle est réellement. Bravo.
votre avatar
on devrait l'ignorer sous prétexte que derrière il y a une personne d'ED ?
Oui, on devrait, parce qu'en s'engouffrant dans ce scandale (que rien ne prouve encore une fois concernant "c'était ça ou mourir"), on ne fait que participer à un harcèlement raciste.
Je dis qu'on ne peut pas le savoir [...] et fustiger l'autre sans aucune forme de retenue.
Donc un type d'extrême droite qui calomnie un auteur racisé, c'est pareil que ceux qui dénoncent les agissements de ce type, maintenant ?
Fitoussi l'a dit.
Et il a menti quelques jours avant en prétendant ne pas être l'auteur de cette dénonciation.
votre avatar
Oui, on devrait, parce qu'en s'engouffrant dans ce scandale (que rien ne prouve encore une fois concernant "c'était ça ou mourir"), on ne fait que participer à un harcèlement raciste.
Ok. Donc Mediapart aurait soulevé le problème et serait à l'origine de la divulgation, là, pas de problème ? Chacun son point de vue. Je ne partage pas du tout le tien.
Donc un type d'extrême droite qui calomnie un auteur racisé, c'est pareil que ceux qui dénoncent les agissements de ce type, maintenant ?
Calomnie = accusation mensongère .

Où est la calomnie ? Les suspicions sont très fortes, et cela à même permis de mettre en évidence des plagiats passés.

Encore une fois, 2 poids, 2 mesures.
Et il a menti quelques jours avant en prétendant ne pas être l'auteur de cette dénonciation
Là encore, tu choisis donc de croire ce qui t'arrange. Pourquoi le croire quand il dit que c'est lui derrière alors ? Pourquoi décider que c'est ça la vérité ?

En bref, tu crois exactement ce qui t'arrange.

Pour finir, j'attends toujours des excuses sur le fait que tu m'aies prêter une position sans savoir ce qu'il en est, ne m'étant pas prononcé sur le sujet.
votre avatar
« Ok. Donc Mediapart aurait soulevé le problème et serait à l'origine de la divulgation, là, pas de problème ? »

Mediapart fait des enquêtes journalistiques et n'aurait certainement pas affirmé quoi que ce soit sur la base d'un détecteur IA et uniquement sur cette base-là. On ne se contente pas d'indices et de fausses probabilités pour affirmer quelque chose. Les articles de Mediapart sont plus documentés et longs qu'une publication sur X.

On pense ce qu'on veut des opinions sur Mediapart, l'intention de Mediapart n'est franchement pas la même.
votre avatar
Où est la calomnie ? Les suspicions sont très fortes, et cela à même permis de mettre en évidence des plagiats passés.
Une suspicion basée sur un outil dont on ne sait rien du fonctionnement, par un gars qui n'est pas spécialement transparent non plus (cf. son premier mensonge), c'est bien de la calomnie.
Là encore, tu choisis donc de croire ce qui t'arrange. Pourquoi le croire quand il dit que c'est lui derrière alors ? Pourquoi décider que c'est ça la vérité ?
Mais le niveau de foutage de gueule ! Il nie être derrière l'affaire, puis finit par avouer que c'est lui, mais c'est moi le problème ?
Ok. Donc Mediapart aurait soulevé le problème et serait à l'origine de la divulgation, là, pas de problème ? Chacun son point de vue. Je ne partage pas du tout le tien.
Continue à inventer une réalité alternative dans laquelle la déontologie de Fitoussi serait ne serait-ce que la moitié de celle de Mediapart pour te raccrocher aux branches.
Pour finir, j'attends toujours des excuses sur le fait que tu m'aies prêter une position sans savoir ce qu'il en est, ne m'étant pas prononcé sur le sujet.
Carrément ! Les excuses pour quelque chose que je n'ai pas écrit, tu vas les attendre longtemps.
votre avatar
Les excuses pour quelque chose que je n'ai pas écrit, tu vas les attendre longtemps.
Et ça, je le sors d'où ??
Et on rappelle que balancer des choses comme ça (de la diffamation), ça a valu une astreinte à une femme qui s'est fait, elle, insulter par un crétin et dont elle a publié l'insulte. Et il me semble que tu étais d'accord qu'elle n'avait pas à faire ça.
Et après, tu dis que tu n'as rien écrit ? Et c'est moi le foutage de gueule ?

Bon allez, j'arrête là.
votre avatar
Rien ne prouve qu'ils soient plusieurs.
votre avatar
Thélyson Orélien est un auteur qui rencontre actuellement un certain succès. Quoi de plus normal de s'intéresser à lui dès lors ? Le compte Balance ton Claude aurait pu s'attaquer aux écrits de @SebGF , mais je crains que l'impact aurait été moindre.
L'impact aurait été que je leur aurai simplement dit de se foutre au cul leur pifomètre algorithmique. Je ne reconnais pas la valeur de preuve de Pangram et de ces outils.

Mais bon, s'pas demain la veille que je serai nominé à un Goncourt pour peu que ce genre de prix ait de la valeur réelle. L'académie n'a pas brillé par son intelligence dans cette affaire et encore moins son équité à considérer ces soupçons comme des critères éliminatoires. Si ça devient une règle, tous les ouvrages nominés devraient donc être scannés.

Le monde éditorial n'en est clairement pas ressorti grandi dans cette histoire.
votre avatar
Le plus triste est qu'on fait croire que l'IA générative est capable d'écrire un roman alors qu'elle ne créé rien et n'a aucun style particulier ou singulier. Si usages de l'IA, il y a, il s'agit d'aide à l'écriture. Or, c'est complètement fou de rejeter l'IA en bloc. C'est contre-culturel, surtout basé sur des indices peu probants, peu détaillés.
votre avatar
Il faudrait que Pangram se trompe sur tous les extraits et que l'auteur ait changé complètement sa manière d'écrire. Ça fait des sacrés coïncidences.
Pangram peut se tromper sur tous les extraits à partir du moment où il attribue le style de l'auteur à l'IA, il n'y a pas de raison que ce soit pour un passage et pas les autres.

Quant au changement de style, il n'y en a pas, puisqu'on a établi qu'il a plagié donc pas écrit lui même son livre précédent.
votre avatar
Finalement, en sachant qu'il avait plagié avant d'autres romans, l'utilisation de l'IA (non déclarée et non assumée) est dans la continuité d'une démarche malhonnête intellectuellement.

Se cacher derrière le racisme est très problématique, car ça va justement nourrir les discours malveillants et manipulatoire d'extrême droite qui pourront dire : "Vous voyez, le racisme n'existe pas vraiment, c'est un étendard dans lequel les personnes d'origine étrangère peuvent se cacher pour faire leurs méfaits."
C'est faux, car le racisme est tout à fait documenté, mais la manière dont il se défend est un cadeau pour l'extrême droite.
votre avatar
Finalement, en sachant qu'il avait plagié avant d'autres romans, l'utilisation de l'IA (non déclarée et non assumée) est dans la continuité d'une démarche malhonnête intellectuellement.
Et tu n'en sais rien, tu n'as rien pour le prouver, donc c'est de la diffamation. Et derrière celle-ci, venant de l'ED, on sait pourquoi c'est un auteur racisé qui est pris pour cible.
votre avatar
Ceci n'est pas une pipe.
votre avatar
C'est beau le monde qu'on nous vend, n'empêche.

On passe notre temps sur le Web à se défendre d'être un robot.

Et désormais, les robots nous accuseront de dire qu'on a utilisé un autre robot, tout en brandissant la preuve générée par un robot comme vérité.

Quel droit de réponse quand la machine accuse ? L'impact sociétal qui se dessine est loin d'être neutre.
votre avatar
@SébastienGavois

Voici d’abord deux liens intéressants sur le sujet de l’IA :
https://www.liberation.fr/culture/livres/une-etape-est-franchie-lecrivain-julien-blanc-gras-victime-dusurpation-didentite-pour-un-livre-ecrit-par-lia-20260629_TXNG3BYR6JHE3CL5354ISDZ7TY/
https://actualitte.com/article/126907/technologie/ces-livres-ecrits-par-ia-vendus-sur-amazon-recit-alarmiste-d-une-mere

J’ai moi-même de forte suspicions depuis 2024 sur deux auteurs inconnus et dont on ne trouve quasiment pas d’information.
Je me suis renseigné à la FNAC à l’époque. Ils n’ont rien trouvé sur les différentes bases de données auxquelles ils ont accès. Ma médiathèque a suggéré que ce pouvait être un collectif d’écrivain, mais ça ne colle pas.

Les auteurs présumés seraient américains : Kate Bold et Blake Pierce (il y en a visiblement d’autres), pour lesquels, en fouillant longtemps en ligne, j’ai réussi à trouver un lien ténu entre eux.

Commençons par Blake Pierce :
— aucunes photos véritables trouvées, ce sont toujours les couvertures des livres (idem pour les vidéos)
— aucunes informations personnelles trouvées (notamment sur les rézosocios)
— pas d’éditeur trouvé, mais quelques mentions d’auto-édition
— par contre un rythme de publication phénoménal : 700 ouvrages en VO, dont 255 en VF, depuis 2015 (recherche effectuée début 2024)
— des séries de romans policiers, dont la particularité repose sur des titres qui débutent de la même façon :
Say Die, Say When, Say Nothing, Say Goodbye, Say Now, Say Please, etc.
— voir ici pour un aperçu du phénomène : https://www.bookseriesinorder.com/blake-pierce/

Quant à Kate Bold : c’est la même chose pour tous les points évoqués précédemment, mais la période de publication est encore plus courte. Au 6 août 2026, elle aurait publié 34 séries pour un total de 234 romans policiers entre 2021 et 2027.
— voir ici : https://inorderbookseries.com/authors/kate-bold

Il n’est pas ici question de duperie (pour rester poli) mais d’une impossibilité pratique d’écrire à un tel rythme. Enfin, ces auteurs auraient beaucoup de succès avec des centaines de milliers d’avis de lecteurs (toujours proches de 4 sur 5)… alors qu’ils sont parfaitement inconnus.

Est-il possible de les tester avec Pangram ? Je suis vraiment intéressé par le résultat.
votre avatar
Article intéressant et précis, merci !

Pour sortir un peu du biais "corpus d'articles techniques" que vous signalez vous-même, pensez-vous que les "bons détecteurs d'IA" sont à même de classer comme "100% humain" des styles littéraires nouveaux ou différents ?

De ce que je comprends, les "bons détecteurs d'IA" tentent surtout de détecter "le style IA" et mettent dans "humain" ce qui en est "très éloigné" (en fonction du calibrage) et dans "mixed" ce qui s'en éloigne un peu mais pas totalement.

Mais j'imagine que les benchmarks qui peuvent exister se concentrent sur les styles littéraires "pré-2020".

En effet il est peu probable que les détecteurs en question puissent être évalués sur beaucoup de romans post-2020 étant donné la forte incertitude (du point de vue de l'humain qui crée le benchmark) sur le fait qu'ils aient pu être produits avec de l'IA ou non.

Ne faudrait-il pas que les fabricants des détecteurs en question payent des humains pour écrire des textes et même de vrais écrivains (tout en garantissant que ces mêmes écrivains ont écrit "sans IA"), afin d'avoir des benchmarks encore plus réalistes et précis, et toujours à jour.
votre avatar
Pour la première question, je me garderais bien d’extrapoler… Je ne sais pas. Par contre, Pangram détecte très bien sur les articles Next, quel que soit le sujet.

Les benchmarks comme les IA génératives, ont besoin de données étiquetées (Humain ou IA pour faire simple) pour s’entrainer. Le pré-2020 est une source en effet, mais encore faut-il être certain.

Ensuite, cela reste des modèles statistiques qui dépendent des données d'entraînement, je ne sais pas comment ils se comporteraient face à un style ou un vocabulaire totalement différent des données d'entraînement.

Payer des humains ne me semble pas productif vu la quantité de texte qu’il faudrait produire pour avoir des données, qui seraient encore dépendantes du style des plumes.
votre avatar
Je rajoute un lien concernant le sujet déclencheur de cet article notamment :
https://www.hors-serie.net/cetait-ca-ou-mourir-entre-consecration-et-soupcon-retour-sur-loeuvre/

Il s’agit d’une critique en date du 23 septembre 2026 de l’objet du délit : le roman de Thélyson Orélien, « C’était ça ou mourir », proposée sur l’ancien site partenaire d’Arrêt sur images (Hors Série).

Et plus précisément le dernier chapitre intitulé : « Détecteurs d’IA : quand le douanier fabrique les faux passeports ».
Extrait :
Verdict : 30%, 40%, parfois 60% d’IA. J’ai essayé avec Rimbaud, Simenon, Despentes. Résultats identiques.
Je ferais bien des tests moi-même, mais l’utilisation gratuite de Pangram est limitée à 1 crédit / 100 mots et 20 crédits au total : ça fait un texte de 2000 mots maxi.
On peut pas tester grand-chose avec ça.
votre avatar
Lorsque je lis les 3 versions du texte sur les datacenters, je suis un peu effrayé de constater que j'aurais plutôt eu tendance à écrire comme l'IA :)

"est entraîné directement sur la manière dont les humains écrivent naturellement " : à l'ère post-IA, ne va-t-on pas assister à un changement de style d'écriture, influencé par la quantité importante - pour ma part du moins - de textes IA que l'on lit ? Ou, au contraire, chacun passera (et passe déjà, j'en suis bien persuadé) ses textes dans des vérificateurs et modèlera son texte jusqu'à atteindre un score parfaitement humain ?
votre avatar
Lorsque je lis les 3 versions du texte sur les datacenters, je suis un peu effrayé de constater que j'aurais plutôt eu tendance à écrire comme l'IA :)
Ça a été un constat fait y'a une paire d'années, de mémoire, où l'usage des chat bots faisait qu'on se mettait à parler comme eux sans le vouloir.
votre avatar
Comme les textes produits par l'IA sont nettement plus riches en vocabulaire que tout ce que je peux lire comme mail au quotidien, ce sera peut-être une bonne chose :) (non, je plaisante, je n'y crois pas un instant puisque tout le monde répondra avec son IA, sans se donner la peine d'écrire)
votre avatar
(non, je plaisante, je n'y crois pas un instant puisque tout le monde répondra avec son IA, sans se donner la peine d'écrire)
En plus, personne ne se donnera la peine de lire non plus.
votre avatar
Pour savoir lire, il vaut mieux savoir écrire. Pour formuler une pensée (rendre la pensée concrète), il vaut mieux savoir écrire. L'IA aura peut-être l'avantage de rétablir une culture de l'oralité, si tant est que l'IA s'impose dans les écrits.

Pour lire des textes avec du vocabulaire riche, il vaut mieux lire des articles de presse et des livres écrits par des humains. Les mails, c'est très administratif ou circonstanciel. L'IA n'existe que parce que des contenus humains existent (on verra si l'IA est capable de faire évoluer la langue et d'inventer les mots qui conviennent à une époque, pour le moment ça reste très limité à ce sujet).
votre avatar
écrire avec son IA sans comprendre le vocabulaire utilisé, je n'y crois pas du tout. Au pire, ça fera ouvrir un dictionnaire (on posera la question à son IA conversationnelle pour avoir la définition des mots "trop" compliqués qu'elle emploie).
votre avatar
L'IA générative est sûrement efficace pour des textes administratifs ou protocolaires. Mais l'IA est très pauvre pour créer du texte original.

Faire une fiche de cuisine ou un manuel technique à l'IA générative : oui.
Pour tout exercice de création de texte, l'IA générative ne peut être qu'une aide, à la manière du correcteur orthographique ou de la traduction basique d'un texte (une oeuvre littéraire exigera une intervention humaine).

On dit souvent que la pensée se forme en la formulant avec des mots. L'IA générative devient très frustrante dès qu'on lui demande autre chose de l'automatisme. L'IA permet d'aller plus vite, pas de créer quoi que ce soit. Le jour où le monde littéraire et les industriels de l'IA auront admis cette réalité, on n'aura pas besoin de vérifier les textes des humains pour prouver qu'ils sont d'origine humaine. Et si des gens veulent lire des textes générés par IA, je ne vois pas le problème (les romans de gare existent, les articles de fait divers n'ont aucune originalité littéraire même avant qu'on parle de l'IA).
votre avatar
C'est complètement faux.
Dès les premiers LLMs, des gens s'en sont servis pour générer des textes entiers avec très peu de supervision. Ce n'est pas une "aide" dans ce cas : le modèle peut tout générer, de l'histoire aux personnages et aux péripéties et même au choix du style. En quelques minutes il sort un livre entier.

Aujourd'hui des gens publient de grandes quantités de livres entiers générés par IA sur Amazon et ailleurs. Ils ne jouent presque aucun rôle dans le processus créatif et souvent ne lisent même pas le livre généré. Ça serait parfois matériellement impossible vu le nombre publié par une seule personne.

Il est bien sûr aussi possible d'utiliser des LLMs pour de l'aide à l'écriture, de la relecture ou un travail d'édition.

Mais pour que le livre entier soit considéré comme généré par IA à 100% par pangram, et considérant le résultat des tests de Next et d'autres, l'implication de l'auteur dans le processus créatif peut clairement être mis en question.
votre avatar
On n'a pas attendu l'IA pour lire des romans de gare. Le seul apport de l'IA est la rapidité de production de ce genre de romans. De là à parler de processus créatif, on n'a pas la même définition du mot création. Chez Action et chez Gifi, on peut acheter des tableaux fabriqués en série, ça n'est pas créatif, même si c'est décoratif
votre avatar
C'est bien pour ça que la plupart des concours littéraires ou artistiques interdisent aujourd'hui l'utilisation d'IA.

Si c'est interdit c'est justement parce que c'est possible de le faire, et que des gens le font. Et les lecteurs dans leur majorité ne souhaitent pas lire de livre généré par IA. Quand ils l'apprennent après avoir passé du temps à lire un texte ils se sentent souvent trahis. Quand l'utilisation de l'IA est clairement annoncée, les ventes ne sont pas du tout au même niveau.

Ce n'est pas contre-culturel de chercher à savoir si un texte est généré, c'est au contraire en plein dans la tendance actuelle, car dans ce monde où nous sommes submergé par du contenu algorithmique, on recherche souvent du vrai, de l'humain quand on achète un livre.

Cela n'interdit pas de lire ou publier du contenu généré, mais la pratique éthique/déontologique qui s'impose est au minimum de le dire.
votre avatar
"Mais l'IA est très pauvre pour créer du texte original", "L'IA permet d'aller plus vite, pas de créer quoi que ce soit"

Hum... cf la polémique sur le Goncourt et le test qui avait été fait pour le Nouvel Obs (https://www.nouvelobs.com/bibliobs/20250316.OBS101513/le-prix-goncourt-herve-le-tellier-s-est-mesure-a-l-ia-et-le-match-a-ete-a-la-fois-surprenant-et-terrifiant.html)

Je pourrais aussi citer les journalistes et critiques, qui ne sont fait berner par de la musique IA (le reconnaissent et sont bluffés). Pas le temps de retrouver les sources.

Et je suis bien le premier a être dépité par ce qu'est capable de produire une IA en image, son, musique, quand on sait prompter (ou utiliser des outils déjà prévus pour).

Nier ça, c'est juste ignorer totalement ce dont sont capables les IA.
votre avatar
Impressionnant (l'article comme Pangram).

Pour approfondir cet article très intéressant, il faudrait par exemple:

  • des cas concrets d'utilisation

  • des exemples sur d'autres natures de texte

  • élargir sur d'autres modèles d'IA



Comment voulez-vous continuer?
votre avatar
Les cas concrets, c’est un peu à chacun de voir midi à sa porte.
Pour des exemples sur d’autres natures de textes, il faut un corpus, et un corpus fiable comme pour les articles de Next. Problème, je n’ai pas sous la main d’autres réserves dans lesquelles puiser :/
votre avatar
Désolé, j'ai mal fait mal blague. Je me doute bien que c'est complexe d'avoir un corpus fiable, autre que les paroles de Francis Lalanne, que j'espère que tu n'as pas en disponible chez toi.
J'ai juste essayé de faire l'IA humaine :)
votre avatar
Une dernière chose : le texte de cette actualité a été passé dans Pangram juste avant sa publication : « 100 % of this text is Human Written », ouf !
Heureusement, sinon il aurait fallu modifier l'article. Ça aurait pu se terminer en boucle sans fin !
votre avatar
Tatata, j’aurais juste réaranger mon réseau de neuronnes pour répondre comme un humain… #OhWait !!!
votre avatar
@SébastienGavois s'il y a eu plusieurs tribunes sur le sujet sur ce site spécialisé, la dernière que je viens de voir sur Actualitté se place sous le regard des mathématiques.

Peut-être une occasion de reconsidérer le protocole de test et expérimenter une variante ?
votre avatar
Cela ne change rien à mon protocole, aux résultats et à mon analyse :) Je suis d’accord avec ce qui est expliqué, une manière plus simple de le dire : si Pangram se trompe sur le style d’un auteur (peut importe la raison), alors on peut soumettre autant d’extraits qu’on veut, il sera mal identifié. Ce n’est pas une question de 1 chance sur 24 000, c’est une question de style.

Mon test ici est de voir sur un corpus large de textes dont je sais avec certitude la provenance humaine, à 100 %. Et comme je le précise, mon analyse se limite à des articles tech sur le numérique, bref à Next. Je n’ai pas d’autres corpus sous la main aussi fiable.

J’ai un peu parlé stats dans la première partie sur les 75 détecteurs, mais j’ai tjs peur de faire fuir tout le monde avec des chiffres (j’ai bouffé des stats pendant des années à la fac… bon j’ai jamais aimé, donc ça m’arrange aussi ^^)
votre avatar
J'ai trouvé cet article intéressant : I'm Kenyan. I Don't Write Like ChatGPT. ChatGPT Writes Like Me.
L'auteur y explique que le style d'écriture des Kényans, inculqué par leur système éducatif très strict, ressemble à l'IA dans sa construction.
J'obtiens un score de 87% écrit par IA, 13% par humain, sur le texte de l'article avec Pangram (sans les deux derniers paragraphes, pour ne pas dépasser la limite du compte gratuit).