Il génère des plaidoiries par IA, et en recense 160 ayant « halluciné » depuis 2023
LLM KC
Journaliste et data scientist, Damien Charlotin donne aussi des cours de droit en python. Il vient coup sur coup de participer au plus prestigieux des concours internationaux de droit, en lui soumettant 12 plaidoiries générées par IA, et de constituer une base de données de plus de 160 plaidoiries « hallucinées » par des IA. Nous avons donc voulu faire le point avec lui pour mieux comprendre l'impact que les IA et les LLM pourraient avoir sur le monde du droit.
Sur son profil LinkedIn, Damien Charlotin se présente (en anglais) comme journaliste spécialisé dans les litiges internationaux et l'arbitrage le jour, data scientist et conseiller juridique la nuit, universitaire et conférencier, chargé de recherche à HEC et Sciences Po, où il apprend aux étudiants à coder, en python, « afin d'en faire de meilleurs juristes » :
« J'enseigne également un cours intitulé "Les grands modèles linguistiques et l'avenir du droit", rien de moins. Je répète principalement "soyez le remplaçant et non le remplacé" sur différents tons aux malheureux étudiants, jusqu'à ce que je sois moi-même remplacé. »
Contacté, Damien Charlotin nous explique avoir commencé à travailler sur des LLM à HEC en 2020, après son doctorat à Cambridge, dans une équipe qui travaillait sur des LLM depuis 2018 : « mon doctorat était une analyse de données, et toute ma carrière académique est basée sur le fait de prendre le droit comme de la data, et de l'analyser comme telle », précisant avoir à l'époque constitué une base de données d'environ 1 million de citations, d'où son intérêt pour l'IA en général, et les scripts en python en particulier :
« Ma thèse était consacrée à une analyse des citations en droit international, et pourquoi on citait X plutôt que Y. Et souvent c'était parce que c'était plus persuasif (ce que j'ai donc cherché à questionner), et qu'un bon argument juridique est un argument d'autorité. Je vais citer parce que c'est important d'avoir des citations. Il y a des parallèles avec le fait d'être cité dans les publications scientifiques. Un mémoire bien rempli semble plus pertinent, même s'il est mal rempli. Et les hallucinations me renvoyaient à ça. L'argumentation juridique est très basée sur l'argument d'autorité ».
Il explique avoir une utilisation « assez large » de l'IA : « dans ma pratique juridique et académique, je m'en sers pour savoir bien le faire, y'a tout un dividende (« payoff ») à percevoir et à utiliser ces outils, je code beaucoup avec, comme beaucoup, je les utilise pour collecter des données, j'ai développé des outils pour plein d'applications, mais pas pour générer mes articles [journalistiques, ndlr] ».
Les étudiants passent 5 mois à préparer leurs mémoires, nous on en a fait 12 en 12 h
Damien Charlotin vient cela dit de co-signer, avec Niccolò Ridi du King's College de Londres, un pre-print (article non relu par les pairs) au sujet d'une expérience ayant consisté à envoyer douze plaidoiries de 9 000 mots générées par Gemini 2.0 et GPT4o, « avec une intervention humaine minimale », au concours de droit international Philip C. Jessup. Considéré comme le plus prestigieux du genre, il réunit chaque année des étudiants en droit de plus de 700 universités dans plus de 100 pays, et plus de 900 équipes y concouraient cette année.
Damien Charlotin nous précise qu'il est l'administrateur pour la France de ce concours de plaidoirie, et qu'il avait bien évidemment reçu l'aval des organisateurs avant d'effectuer cette expérimentation.
« Trouver la bonne approche et le bon prompt nous a pris du temps, mais une fois que c'était fait ça a été très vite. Les étudiants passent 5 mois à préparer leurs mémoires, nous on en a fait 12 en 12 h, dont 4 - 5 heures pour générer le prompt », nous explique-t-il.
Commentaires (3)
Modifié le 01/07/2025 à 16h40
On entend beaucoup parler des affaires où un avocat un peu bête se fait discipliner pour avoir utilisé des LLMs ayant halluciné des citations.
Mais en même temps, le métier d'avocat semble inclure beaucoup de tâches pour lesquelles les LLMs sont pertinentes.
Ça m'a fait un peu penser à ce genre de chose (observé personnellement ailleurs que sur Reddit aussi):
Pro-AI Subreddit Bans 'Uptick' of Users Who Suffer from AI Delusions
Les LLMs sont encore assez mauvaises pour appréhender la réalité mais très bonnes pour "hacker" le cerveau humain en générant une suite de mots convaincants. Ce qui est relativement logique, étant entrainées sur des suites de mots.
Or, générer une suite de mots convaincants est une part assez critique du métier d'avocat.
Le 01/07/2025 à 17h47
(* Tout ce que sort un LLM est hallucination vu qu'il n'y a toujours pas d'"intelligence" dans ces outils, c'est du texte plausible généré dans le but de plaire à la personne l’interrogeant)
Le 02/07/2025 à 17h42
C'est ce que reproche Luc JULIA dans son audition au Sénat. Il souhaite voir des LMM créés par plus de pays pour ne pas toujours avoir un point de vue très "monde occidental". Début de la séquence vidéo ici.