Connexion Premium

IA et littérature : les détecteurs automatiques comme Pangram surfent sur le doute

Traque sur Internet

IA et littérature : les détecteurs automatiques comme Pangram surfent sur le doute

Illustration : Flock

Les suspicions de copies d’étudiants ou de livres primés générés par IA poussent à utiliser les outils de détection proposés par des entreprises comme Pangram, mais ceux-ci ne peuvent nous assurer d’un diagnostic fiable. En France, l’écrivain Thélyson Orélien est pointé du doigt et son livre passé à la moulinette alors que l’auteur nie l’usage de l’IA générative et affirme : « je ne vois pas pourquoi je ferais appel à une machine ».

La suspicion de devoirs rendus et livres de lauréats de prix littéraires générés par IA devient courante et pousse à la tentation de recourir à des logiciels de détection. Mais ceux-ci, même s’ils s’améliorent, peuvent se tromper et ont aussi des biais.

En France, depuis lundi, c’est le livre de Thélyson Orélien, titré « C’était ça ou mourir » et lauréat de plusieurs prix comme le prix Fnac ou le prix Méduse et pressenti par certains comme potentiel prix Goncourt 2026, qui est la cible de certaines critiques. L’ouvrage de l’écrivain québécois d’origine haïtienne a été la première cible littéraire d’un compte créé assez récemment sur X au nom de Pangramed. Ce compte pointe que le service de détection d’utilisation d’IA Pangram, dont il reprend le nom en le détournant, affiche sur plusieurs extraits du livre « nous croyons que ce texte entier est généré par IA » avec un score martelant « 100 % de ce texte est IA ».

Ce message a ensuite été repris sans pincettes par le journaliste du Figaro Paul Sugy et son collègue chroniqueur Samuel Fitoussi. Comme l’analyse Médiapart, une mécanique s’est ensuite déroulée dans les sphères de droite et d’extrême droite, Valeurs actuelles publiant un article sur le sujet, partagé ensuite par Alexandre Avril, vice-président de l’Union des droites pour la République (UDR). De nombreux comptes X ont aussi surfé sur le sujet, certains diffusant de fausses analyses Pangram de textes de Victor Hugo ou de Mary Shelley, d’autres ciblant de façon raciste Thélyson Orélien. Tout ça a propulsé le sujet dans l’actualité.

Depuis, nos confrères de Libération ont pu constater que la version 4 de Pangram estime bien que le texte est « entièrement IA » avec certains passages comme un mélange entre du texte artificiel et humain. Et le service français concurrent à Pangram, Lucide.ai a surfé sur l’occasion pour publier son diagnostic équivalent.

«  Je ne vois pas pourquoi je ferais appel à une machine »

De son côté, Thélyson Orélien affirme à Libération : «J’ai toujours aimé la création et l’écriture, je ne vois pas pourquoi je ferais appel à une machine.». Il ajoute : « Les images, les répétitions et les rythmes sont une parole vivante, elles sont miennes. Mes traditions sont haïtiennes et caribéennes ». Concernant l’estimation de Pangram, il « pense que le logiciel est habitué aux traditions littéraires françaises et aux auteurs classiques ».

Enfin, il exprime sa colère : «Depuis mon arrivée récente en France, je subis de nombreuses attaques racistes, qui ne viennent pas des lecteurs mais de personnes extérieures qui cherchent à nuire. Je n’y prêtais aucune attention. Mais je ne m’attendais pas à des attaques de ce genre. Je ne suis pas triste mais en colère. Je suis en train de constituer un dossier avec mes éditeurs en France et au Québec pour prouver ce que je dis ».

« Une précision de 98 % est extrêmement faible »

Il reste 65% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (27)

votre avatar
En résumé : vive l'IA pour foutre le bordel dans le monde 😈

Merci pour l'article.

Qu'en est-il des traductions ? Vu que l'IA peut aider à traduction des textes, le texte traduit serait reconnu comme rédigé par une IA n'est-ce pas ?
Donc un auteur pas très à l'aise avec le français pourrait écrire en anglais et faire traduire son livre ensuite.
votre avatar
Quel score donne Pangram aux "biographies" d'une certaine personnalité RN assez médiatique ? Histoire d'avoir un élément de comparaison ? 🙄
votre avatar
Celui-là a été aidé à un nègre prête-plume humain, pas de problème.

On remarquera, que les 2 sont édités par le même groupe d'édition : Hachette Livre, contrôlé par le groupe Bolloré.
votre avatar
tant qu'on y est dans le contexte maisons d'édition, on peut noter que le roman de T. Orélien est l'un des derniers de l'ère Nora chez Grasset, avant le limogeage orchestré par Bolloré
votre avatar
Merci de la précision, je comprends mieux qu'il soit attaqué par l'extrême droite ou la droite : il est dans l'ancienne ligne de la maison d'édition. J'avais du mal à comprendre la situation sans cette info.
votre avatar
Résultat : un effort considérable de part et d’autre qui, au final, ne profite à personne ».
Si aux vendeurs qui vendent un mal et son remède.

Je trouve que le test par le journaliste de présenter aux systèmes de détection d'IA, les anciens romans Thélyson Orélien n'est pas pertinent: il y a de fortes chances que ses anciennes œuvres soit dans la base d'entraînement du système de détection;
https://www.franceinfo.fr/replay-radio/le-vrai-du-faux/l-ecrivain-thelyson-orelien-a-t-il-utilise-l-intelligence-artificielle-pour-ecrire-son-premier-roman-c-etait-ca-ou-mourir_8183894.html
Que dire des autres manuscrits de la rentrée littéraire ? Le roman de Thélyson Orélien est-il un cas à part ? Nous avons demandé à Pangram d'analyser des extraits de quatre romans de la rentrée littéraire aux styles variés. Chronique d'un royaume perdu, d'Ananda Devi, écrivaine franco-mauricienne, publié chez Grasset et L'inconnue du quai de Javel, de Philippe Jaenada, publié chez Flammarion, tous deux en lice pour le prix Renaudot, mais aussi l'Adolescence du perroquet, d'Amélie Nothomb chez Albin Michel et Mais que fait le sang sur le pull de Jennifer ? de Lucie Rico, publié chez POL. Selon le logiciel, les mots de Philippe Jaenada sont à 99% d'origine humaine, les trois autres livres obtiennent un score de 100%.
votre avatar
Dans l’article, ça parle de tester des extraits, mais sans donner leur longueur. Je suppose que sur un roman de 400 pages, avec des extraits de 3-4 pages environ et un taux d’erreur de 1 à 2% en pratique, on doit pouvoir sur pratiquement chaque roman trouver au moins un ou deux extraits qui seront identifiés à tort comme générés par IA.
votre avatar
Il me semble que justement un de ses romans créés avant la sortie des IA était détecté produit par IA ... Ça donne confiance...
votre avatar
On peut lui laisser le bénéfice du doute, attendre son prochain roman, et pour celui-là, on aura une détection fiable :
next.ink Next
votre avatar
Il y a des gens qui croient ou qui font croire que l'IA menace l'humanité. Elle menace surtout ceux qui en vivent
votre avatar
Si l'IA s'occupait des plagiats humains. Déjà ce serait bien. Jeter le doute sur des romans prometteurs, c'est plus troublant que révélateur de quoi que ce soit, c'est sûrement très vendeur de solutions tech qui ont encore peu de crédibilité. Quant à la crédibilité des thèses racistes, ça fait quelques temps qu'elles ont été réfutées scientifiquement (désolé pour ceux et celles qui y croient encore, la Terre n'est pas plate non plus).
votre avatar
Au sujet des thèses racistes ou raciales, j'avais entendu un scientifique il y a quelques années qui déplorait l'utilisation de la science pour contrer les thèses racistes. Son argument était de dire : et si la science démontrait qu'il y avait des différences entre les races, cela légitimerait il le racisme ?
Il concluait que la discrimination entre les individus n'était pas acceptable, quand bien même elle existerait scientifiquement.
votre avatar
Et donc ? Il faudrait laisser des justifications biologiques perdurer ? Il existe des différences biologiques entre hommes et femmes, c'est pas pour ça qu'il faudrait renoncer à l'égalité h/f.
votre avatar
Je suis d'accord avec toi. Je voulais juste dire que ce n'est pas parce qu'une différence est validée (ou pas) par la science qu'il faut ne pas lutter contre. L'aspect scientifique n'est qu'un argument parmi d'autres. Et ton exemple sur l'égalité h/f est pertinent, je m'en souviendrai.
votre avatar
Il y a des gens qui diffusent ce genre de théories. Par exemple, Nathan Cofnas (chercheur et philosophe), qui se décrit comme «réaliste racial» https://www.bbc.com/news/articles/cevmrjd9lj1o

Je tombe de haut chaque fois que je vois ce genre de croyances, surtout chez un chercheur en philosophie qui va jusqu'à accuser un pair.
votre avatar
Dans le film Traque sur internet (The Net - 1995), Angela Bennett repère un mystérieux groupe qui édite un antivirus qui est lui-même doté d'un dispositif de contrôle de tout ce qui est branché sur le Net. Elle devient donc l'ennemie à abattre.

Il y a 2 films sur les nouvelles technologies à voir : Traque sur internet et Harcèlement (Disclosure - 1994).

Un troisième pour la route : The Circle (2017) pour les services numériques intrusifs ou Dalloway (2025) pour les assistants IA et pour le sujet de la création d'œuvres. Ces films sont moins "happy ending" que les deux de la fin du XXe Siècle (on change d'époque).
votre avatar
Le point qui m'agace avec ces soi-disants détecteurs, c'est qu'avec la chasse aux sorcières 3.0 plein d'uluberlus donnent les textes d'auteurs à des entreprises qui vont s'en servir pour entraîner leurs modèles sans l'autorisation de ces derniers.

Non seulement ce sont des accusations gratuites reposant sur le pifomètre algorithmique, mais en plus c'est une violation du droit d'auteur.
votre avatar
Il nous faut quand même humblement noter qu’au vu des développements récents sur cette histoire (plagiats massifs et répétés de l’auteur découverts depuis, notamment), l’ensemble - ou presque - de ce qui a été écrit en réaction à chaud mérite d’être revu.
L’IA serait à la fois capable d’écrire ce qui est perçu comme un chef-d’œuvre, et à la fois à même de le détecter.
votre avatar
Mmm, les révélations de plagiat sont accablantes, mais elles ne remettent pas en cause le débat plus technique sur la capacité, ou non, d'une IA à correctement distinguer les productions humaines des écrits synthétiques. Les deux phénomènes sont concomitants, mais distincts.

Ce qui est sûr (et plutôt triste), c'est que personne ne sort grandi du battage médiatique que ça a déclenché...
votre avatar
J'ai vu passer un thread de gens qui ont testé de feinter Pangram sans succès, semblant valider une certaine efficacité du truc.
Ca ferait un bon sujet d'article expérimental sans doute :P
votre avatar
Sans doute :D
votre avatar
Comme il existe des faux positifs (Pangram revendique seulement 0.01% mais on connaît les promesses des industriels sur ce qui n'est pas vérifiable), il est impossible d'affirmer si oui ou non c'est vrai.

Des collègues ont déjà envisagé ça à l'université, mais c'est pareil, devant un TA, ça ne tient pas la route.
votre avatar
Je ne suis pas un spécialiste, mais selon ma compréhension du sujet, si on a un faux positif dans une page, c'est une chose d'avoir un doute raisonnable.
Mais si un romain est truffé de passage flagués, les probabilités racontent quelque chose de tangible. Même si on parle d'une probabilité de faux positifs de 10%, mettons, si tu as 50 passages qui déclenchent une alerte, la probabilité que le roman soit écrit à 100% sans IA est de 1 chance sur 10 avec 50 zéros derrière. Bon.
votre avatar
Non, tu auras le même problème. Ces événements sont indépendants si on considère pas qu'ils sont tous écrits dans un même style venant d'un humain.

Si on considere que c'est le style que Thélyson Orélien a choisi d'utiliser dans ce livre, il est même assez logique qu'un outil statistique ait le même mécanisme et le classe toujours de la même façon.

Bref, la répétition sur plusieurs extraits ne prouve rien de plus.
votre avatar
Bref, la répétition sur plusieurs extraits ne prouve rien de plus.
En effet, et j'ajouterai aussi que la littérature fonctionne aussi pas mal par mode.

On pointe souvent le rythme ternaire ou ce pauvre cadratin comme étant des preuves accablantes du texte généré par LLM, mais il ne faut pas oublier que de nombreux récits en ont tartiné bien avant l'arrivée de GPT. Tout comme la production actuelle est énorme avec des millions de textes publiés par an qui sont eux-même influencés par les modes du moment (le moi au présent, par exemple). Et, enfin, tous les auteurs ne se valent pas. Un texte à la platitude des LLM peut très bien être écrit par un humain. Les LLM restent un agrégat de tout ce bordel et recrachent ce qui est, de leur point de vue statistique, le plus courant.

La chasse aux sorcières avec comme seule preuve le pifomètre algorithmique est très inquiétante pour l'écriture, je trouve. Cet édito de Charles Garatynski est plutôt intéressant sur le sujet, d'ailleurs. Encore une élément dystopique qui devient réalité :craint:
votre avatar
Bref, la répétition sur plusieurs extraits ne prouve rien de plus.
Hormis l'acharnement sur Thélyson, tout comme celui sur Jason Arday. Me demande bien ce qu'ils ont comme point commun ces deux hommes. /s
votre avatar
Une capture d’écran circule montrant un passage du livre « La France contre les robots » de Georges Bernanos qui serait détecté par Pangram à 63 % rédigé par une IA.
Précision pour les incultes comme moi : ce texte date de 1947, donc 63% de 0 chance d'être généré par IA. 😉