Comme repère par Ars Technica, cette réponse se trouve dans la foire aux questions :
« Alors que certains (y compris OpenAI) ont publié des outils prétendant détecter du contenu généré par une IA, aucun d’entre eux n’a prouvé qu’il établissait une distinction fiable entre ce type de contenu et celui généré par l’homme ».
Open AI ajoute des précisions intéressantes : « De plus, ChatGPT n’a aucune "connaissance" du contenu qui pourrait être généré par une IA. Il répondra parfois à des questions telles que "avez-vous écrit cet [essai] ?" ou "cela aurait-il pu être écrit par l’IA ?". Ces réponses sont aléatoires et n’ont aucun fondement dans les faits ».
Cela ne signifie par contre pas qu’il est impossible de détecter du contenu généré par une intelligence artificielle, notamment chez les enseignants, les proches, les collègues… En effet, ces personnes peuvent avoir l’habitude du style d’écriture d’une personne et voir un changement si le contenu était généré autrement.
Commentaires (5)
#1
On voit bien que le contexte ainsi que le lien qui relit le lecteur au rédacteur peuvent bien mieux détecter les faux.
Cependant, la question se pose lorsque les liens inexistants et un contexte très léger existent.
La conclusion d’OpenAI m’a l’air pleine de logique et pourtant elle est amère.
#2
…C’est pour cela qu’il faut que les IA elles-mêmes identifient leur contenu de manière forte : soit à l’aide d’un watermark pour les images, soit à l’aide d’un code pour le texte.
Toute réponse de l’IA doit être numérotée et archivée, ainsi (pour un.e prof par exemple) il suffira de faire une simple recherche textuelle dans la base de données (avec des phrases entières qui lui semblent suspectes dans leur formulation, ou à l’aide d’une image / schéma scannée, copiée ou extraite depuis le document suspect) pour identifier à coup sûr les contenus généré par IA.
#3
Pourquoi ne pas entraîner une IA à cette tâche ?
Mais à laquelle faire confiance ?
Mise en abyme ?
#4
Encore sur l’image un watermark est possible. C’est même déjà une option activable (sans oublier que le contenu du prompt est écrit dans les metadata).
Par contre pour du texte, ça n’a aucun sens de vouloir archiver l’entièreté des contenus générés… GPT n’est pas censé être déterministe, donc il va généralement produire un contenu avec des variations. Et c’est pour ainsi dire déjà fait puisque les prompts et résultats obtenus sur ChatGPT sont conservés, analysés, et utilisés pour l’entraînement des modèles d’OpenAI. Mais leur accès est restreint à OpenAI. Au même titre que les prompts et suggestions de la version Personal de GitHub Copilot le sont (c’est la version entreprise qui ne fait pas d’archivage d’après le contrat, la donnée vit le temps de son traitement).
Encore le style pompeux et lourd de ChatGPT est facilement reconnaissable quand on le laisse “s’exprimer naturellement” (soyons clairs : il est chiant à lire). Mais il suffit d’un peu de prompt engineering pour gommer tout ça.
M’enfin, dans tous les cas vouloir rentre la totalité des textes générés publics serait un overkill envers la vie privée.
#5
Toute façon les outils actuels de détection de contenus générés par des IA ont un train de retard, puisqu’ils ont été crée en réaction l’avènement de l’IA… 🤖 Au vu de l’évolution que prends l’usage de l’IA dans notre société, à part déposer des signatures génératives, ça va être très compliqué… À bon entendeur 😊