Connexion Premium

Trois plaidoiries « hallucinées » par IA ont été identifiées en France en décembre

Le 16 janvier à 14h08

En juillet, lorsque nous l’avions interviewé, Damien Charlotin n’avait identifié que 160 plaidoiries contenant des « hallucinations » générées par IA, majoritairement états-uniennes. En ce début janvier, sa base de données en dénombre 806, dont 548 aux USA, 56 au Canada, 55 en Australie, 38 en Israël, 32 en Grande-Bretagne, 9 au Brésil, 7 en Allemagne, 5 en Argentine, Inde et aux Pays-Bas, et 3 en France, toutes trois identifiées en décembre dernier.

Nicolas Hervieu, professeur affilié à l’école de droit de Sciences Po, a ainsi constaté que le tribunal administratif de Grenoble avait eu à traiter « une requête et des mémoires générés avec un outil dit d’intelligence artificielle, dont le contenu est tout sauf « juridiquement cadré », contrairement à ce que prétend l’outil utilisé, dans un échange avec le requérant que M. A… n’a même pas pris la peine d’enlever du document adressé au tribunal ».

Fin décembre, il remarquait que le tribunal administratif d’Orléans avait quant à lui été confronté à 15 jurisprudences hallucinées, et qu’ « il y a donc lieu d’inviter le conseil du requérant à vérifier à l’avenir que les références trouvées par quelque moyen que ce soit ne constituent pas une « hallucination » ou une « confabulation » ».

« Chez les magistrats civilistes, on a tous eu dans des écritures au moins une jurisprudence qui n’existe pas », confirme Cyril Jeanningros, juge au tribunal judiciaire de Paris, au journaliste spécialiste des affaires judiciaires Gabriel Thierry, sur Dalloz Actualité. Un problème chronophage : « L’affaire qui nécessitait douze pages il y a 25 ans en comporte désormais trente, mais c’est plus le fait du copier-coller que de l’IA ».

« Avant, on voyait ceux qui copiaient des jurisclasseurs dans leurs écritures, on se moquait mais au moins c’était juste. Avec l’IA générative, nous devons identifier les propos hallucinés, cela nous complique la tâche », déplore Caroline Lantero auprès de Gabriel Thierry. Avocate au barreau de Clermont-Ferrand, elle a récemment reçu « cinq pages d’un argumentaire complètement faux », et dû faire un important travail de vérification à la place de la partie adverse, « un temps que je supporte assez mal de perdre ».

Le 16 janvier à 14h08

Commentaires (19)

votre avatar
L'IA créé plein de boulot, en effet, relecteur de slop est une tâche passionnante en particulier concernant ce domaine !

(Sarcasme au cas où ce n'est pas assez visible…)
votre avatar
Pire que ça, ça noie les relecteur.ices dans une masse de boulot. Ca déporte la charge de vérifier ce que t'écrit.
Un peu comme les crevards qui noient les projets open sources sur Github sous des tonnes de rapport de bug hallucinés.
votre avatar
L'exemple du programme de Bug bounty de Curl est assez désepérant. Daniel Stenberg a annoncé sa fermeture d'ici la fin du mois de janvier car ils sont saturés de slop :

github.com GitHub

Le message sur mastodon indiquant les causes :
It's about sustainability too. #curl is a small project. We cannot spend multiple hours every day arguing with people who want money for having found what is perhaps a bug - but often is not even that.
It drains us. It drowns us.
Onward and upward!
votre avatar
Est-ce qu'en France cela peut entraîner des conséquences contre les magistrats ayant utilisé ces faux documents ?
votre avatar
A priori, ce sont des avocats qui ont utilisé l'IA, les magistrats, eux, le déplorent...
le tribunal administratif d'Orléans avait quant à lui été confronté à 15 jurisprudences hallucinées, et qu' « il y a donc lieu d’inviter le conseil du requérant à vérifier à l’avenir que les références trouvées par quelque moyen que ce soit ne constituent pas une "hallucination" ou une "confabulation" »
votre avatar
Oui, les avocats, j'ai tapé trop vite :p
votre avatar
inviter le conseil du requérant à vérifier à l’avenir que les références trouvées par quelque moyen que ce soit ne constituent pas une "hallucination" ou une "confabulation"
Parce qu'aujourd'hui ils ne vérifient pas ?
votre avatar
De quels "ils" tu parles ?

Là, il (le tribunal administratif) s'adresse à l'avocat (le conseil du requérant).
votre avatar
Les bonnes pratiques dans ce métier, c'est de vérifier. Du temps des humains, c'était les stagiaires-avocat qui font le boulot de vérifier avant de donner aux magistrats.
D'où les copier/coller dont se moquent les avocat dans l'article : t'as vérifié une fois la liste, tu copies-colles quitte à avoir trop, mais au moins c'est pas inventé.

Maintenant, un nouveau métier passionnant se fait jour : stagiaire de vérification de slop IA généré par d'autres stagiaires-avocats. Génial !

Bientôt un LLM pour faire ça ?
votre avatar
Et les juges naturels, avec des jugements hallucinés, on peux en parler ? (L'affaire Bluetooth, au hasard)
votre avatar
Voilà une idée de business qu'elle est bonne : un logiciel de vérification de références judiciaires, garanti sans IA, avec lien vers la décision elle-même...
"en mode SaaS, pour 299€/mois/collaborateur, copiez-collez votre .ods, .docx, .pdf et obtenez en quelques instants le lien vers les juridictions ad-hoc"

PS: pour tout investisseur = mon tel est le 06 07 08 09 0A :D
votre avatar
Dalloz vous remercie de votre contribution gracieuse
votre avatar
J'ai pensé la même chose.
J'avais entendu qu'un logiciel de gestion de version tel que git serait assez bien adapté pour le milieu de juristes, notamment pour faire des diff sur les différentes version des textes de loi.
J'ai l'impression qu'on pourrait également y rajouter un pipeline CI pour tester les référence :)
votre avatar
Il faudrait inventer un équivalemment de context7 pour les plaidoiries.
votre avatar
"M. le juge, veuillez emprisonner mon client, il dit qu'il est innocent mais d'après mes calculs il a plutôt le profil d'un malfrat"
votre avatar
"M. le juge, veuillez emprisonner mon client, il dit qu'il est innocent mais d'après mes calculs Grok(iki) il a plutôt le profil d'un malfrat"
:cap:
votre avatar
Le problème est surtout du à la justice qui "cache" ses décisions. Si elles étaient toutes disponibles facilement sur internet, les IA pourraient s'alimenter correctement.
votre avatar
À ce jour, l’ensemble des décisions rendues par les juridictions de l’ordre administratif, les décisions de la Cour de cassation et des cours d’appel en matière civile sont disponibles. Les décisions civiles des tribunaux judiciaires sont en cours de diffusion, représentant près de 100 000 décisions.
Source : https://www.justice.gouv.fr/documentation/open-data-decisions-justice
À noter que les décisions de justice peuvent comporter des information confidentielles, notamment sur les victimes, et qu'elles ne peuvent pas être mises à disposition des IA sans précautions...
votre avatar
J'ai regardé c'est formatté de façon compliqué. Les IA ont besoin de pouvoir consulter ça comme un vulgaire site web.