Connexion
Abonnez-vous

Il génère des plaidoiries par IA, et en recense 160 ayant « halluciné » depuis 2023

LLM KC

Il génère des plaidoiries par IA, et en recense 160 ayant « halluciné » depuis 2023

Journaliste et data scientist, Damien Charlotin donne aussi des cours de droit en python. Il vient coup sur coup de participer au plus prestigieux des concours internationaux de droit, en lui soumettant 12 plaidoiries générées par IA, et de constituer une base de données de plus de 160 plaidoiries « hallucinées » par des IA. Nous avons donc voulu faire le point avec lui pour mieux comprendre l'impact que les IA et les LLM pourraient avoir sur le monde du droit.

Le 01 juillet à 15h26

Sur son profil LinkedIn, Damien Charlotin se présente (en anglais) comme journaliste spécialisé dans les litiges internationaux et l'arbitrage le jour, data scientist et conseiller juridique la nuit, universitaire et conférencier, chargé de recherche à HEC et Sciences Po, où il apprend aux étudiants à coder, en python, « afin d'en faire de meilleurs juristes » :

« J'enseigne également un cours intitulé "Les grands modèles linguistiques et l'avenir du droit", rien de moins. Je répète principalement "soyez le remplaçant et non le remplacé" sur différents tons aux malheureux étudiants, jusqu'à ce que je sois moi-même remplacé. »

Contacté, Damien Charlotin nous explique avoir commencé à travailler sur des LLM à HEC en 2020, après son doctorat à Cambridge, dans une équipe qui travaillait sur des LLM depuis 2018 : « mon doctorat était une analyse de données, et toute ma carrière académique est basée sur le fait de prendre le droit comme de la data, et de l'analyser comme telle », précisant avoir à l'époque constitué une base de données d'environ 1 million de citations, d'où son intérêt pour l'IA en général, et les scripts en python en particulier :

« Ma thèse était consacrée à une analyse des citations en droit international, et pourquoi on citait X plutôt que Y. Et souvent c'était parce que c'était plus persuasif (ce que j'ai donc cherché à questionner), et qu'un bon argument juridique est un argument d'autorité. Je vais citer parce que c'est important d'avoir des citations. Il y a des parallèles avec le fait d'être cité dans les publications scientifiques. Un mémoire bien rempli semble plus pertinent, même s'il est mal rempli. Et les hallucinations me renvoyaient à ça. L'argumentation juridique est très basée sur l'argument d'autorité ».

Il explique avoir une utilisation « assez large » de l'IA : « dans ma pratique juridique et académique, je m'en sers pour savoir bien le faire, y'a tout un dividende (« payoff ») à percevoir et à utiliser ces outils, je code beaucoup avec, comme beaucoup, je les utilise pour collecter des données, j'ai développé des outils pour plein d'applications, mais pas pour générer mes articles [journalistiques, ndlr] ».

Les étudiants passent 5 mois à préparer leurs mémoires, nous on en a fait 12 en 12 h

Damien Charlotin vient cela dit de co-signer, avec Niccolò Ridi du King's College de Londres, un pre-print (article non relu par les pairs) au sujet d'une expérience ayant consisté à envoyer douze plaidoiries de 9 000 mots générées par Gemini 2.0 et GPT4o, « avec une intervention humaine minimale », au concours de droit international Philip C. Jessup. Considéré comme le plus prestigieux du genre, il réunit chaque année des étudiants en droit de plus de 700 universités dans plus de 100 pays, et plus de 900 équipes y concouraient cette année.

Damien Charlotin nous précise qu'il est l'administrateur pour la France de ce concours de plaidoirie, et qu'il avait bien évidemment reçu l'aval des organisateurs avant d'effectuer cette expérimentation.

« Trouver la bonne approche et le bon prompt nous a pris du temps, mais une fois que c'était fait ça a été très vite. Les étudiants passent 5 mois à préparer leurs mémoires, nous on en a fait 12 en 12 h, dont 4 - 5 heures pour générer le prompt », nous explique-t-il.

Il reste 79% de l'article à découvrir.

Déjà abonné ? Se connecter

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Abonnez-vous

Commentaires (3)

votre avatar
Vraiment intéressant, merci pour l'article.

On entend beaucoup parler des affaires où un avocat un peu bête se fait discipliner pour avoir utilisé des LLMs ayant halluciné des citations.
Mais en même temps, le métier d'avocat semble inclure beaucoup de tâches pour lesquelles les LLMs sont pertinentes.

Ça m'a fait un peu penser à ce genre de chose (observé personnellement ailleurs que sur Reddit aussi):
Pro-AI Subreddit Bans 'Uptick' of Users Who Suffer from AI Delusions

Les LLMs sont encore assez mauvaises pour appréhender la réalité mais très bonnes pour "hacker" le cerveau humain en générant une suite de mots convaincants. Ce qui est relativement logique, étant entrainées sur des suites de mots.
Or, générer une suite de mots convaincants est une part assez critique du métier d'avocat.
Ceux qui contrôlent le flux d'informations ont toujours eu du pouvoir, et « les LLM amplifient ce pouvoir à un degré sans précédent » : « Ils peuvent générer des "vérités" personnalisées faisant apparemment autorité à grande échelle, rendant de plus en plus difficile la distinction entre les faits et la fiction, entre la réalité objective et les récits élaborés. Cela a, entre autres, de profondes implications pour la démocratie, pour le système juridique et pour la société dans son ensemble. ». Pour lui, le problème ne relève pas seulement des « fake news » et de la désinformation, mais « des fondements épistémologiques de notre société, de la manière dont nous savons ce que nous savons et de la question de savoir à qui nous faisons confiance pour nous dire la vérité ».
:chinois:
votre avatar
Le problème, c'est que si tu te retrouves en prison à cause d'un LLM ayant halluciné*, ça sera la faute à qui ? Au juge, à l'avocat, au fournisseur… ?

(* Tout ce que sort un LLM est hallucination vu qu'il n'y a toujours pas d'"intelligence" dans ces outils, c'est du texte plausible généré dans le but de plaire à la personne l’interrogeant)
votre avatar
"Ceux qui forment les LLM décident de ce qu'est la vérité"

C'est ce que reproche Luc JULIA dans son audition au Sénat. Il souhaite voir des LMM créés par plus de pays pour ne pas toujours avoir un point de vue très "monde occidental". Début de la séquence vidéo ici.

Il génère des plaidoiries par IA, et en recense 160 ayant « halluciné » depuis 2023

  • Les étudiants passent 5 mois à préparer leurs mémoires, nous on en a fait 12 en 12 h

  • Le modèle « centaure » : l'IA pour les tâches auxiliaires, l'humain pour l'analyse

  • 161 plaidoiries judiciaires « hallucinées » par l'IA

  • Plus il y a de données à traiter, plus il y a de risques d'erreurs

  • Utiliser l'IA pour préparer des plaidoiries, c'est pareil que d'utiliser un stagiaire

  • Ceux qui forment les LLM décident de ce qu'est la vérité

  • Le juge robot n'est peut-être pas parfait, mais c'est mieux que pas de justice du tout

Fermer