Un juge a condamné deux avocats, Steven Schwartz et Peter LoDuca, ainsi que leur cabinet, Levidow, Levidow & Oberman, à une amende de 5 000 dollars pour avoir utilisé des jurisprudences « hallucinées » par ChatGPT, rapporte The Guardian. Le juge new-yorkais chargé du dossier, P. Kevin Castel, avait en effet découvert que « six des arrêts invoqués renvoient à de fausses décisions de justice et mentionnent de fausses citations ».
« Les progrès technologiques sont monnaie courante et il n'y a rien d'intrinsèquement inapproprié à utiliser un outil d'intelligence artificielle fiable pour obtenir de l'aide », précise le juge dans sa délibération, « mais les règles existantes imposent aux avocats un rôle de gardien pour garantir l'exactitude de leurs déclarations ».
S'il reconnaît que l'une des fausses décisions générées par le chatbot présentait « certains traits superficiellement cohérents avec des décisions judiciaires réelles », d'autres parties contenaient a contrario du « charabia », et étaient même « absurdes ».
« Nous avons commis une erreur de bonne foi en ne croyant pas qu'un outil technologique pouvait inventer des affaires de toutes pièces », ont répondu les avocats dans un communiqué.
Commentaires (19)
#1
Dommage qu’ils n’aient pas lu l’avertissement sous chaque prompt. D’ailleurs cet avertissement est même réapparu sous forme de pop-up chez moi.
Sinon l’intervention du juge rappelant que l’avocat est garant de l’exactitude des déclarations rappelle la responsabilité de ceux-ci. L’outil n’est qu’un outil, comme toujours. Dans un contexte moins technologique, c’est la même chose que s’ils avaient utilisé aveuglément les travaux d’un stagiaire.
#1.1
Et tu crois que ça n’existe pas des avocats associés qui suivent les recherches de leurs avocats stagiaires ?
#1.3
Tu as parfaitement le droit de suivre le taff de ton stagiaire et de l’utiliser. Si celui-ci a été de qualité, c’est même extrêmement valorisant pour ce dernier.
Mais dans tous les cas, tu le relis et vérifies avant de l’utiliser aveuglément. Aveuglément était le mot important de la phrase.
Tu confierais les droits root à un stagiaire sur ta prod ? S’il tank la prod parce qu’il a fait une erreur du fait de son inexpérience (car rappelons qu’un stagiaire est là pour apprendre à la base), ça reste toi le responsable de ce dernier.
Oui complètement, et ils ont fait là un mauvais usage de l’outil.
L’IA génératrice, sa puissance c’est de savoir utiliser une énorme quantité de donnée pour synthétiser, trouver des recoupements, classer, tirer, restituer, sous forme d’un texte lisible et compréhensible par un humain. Se baser uniquement sur les données du modèle d’entraînement est une erreur (et hélas le fait que ces outils soient sur-vendus sur ce point est aussi une erreur, voire un problème) car celles-ci ne servent qu’à donner de la “culture générale” à l’outil. Pour être pertinent, le modèle doit être capable de recouper des informations plus spécialisées ou précises.
C’est ce que j’ai observé dans l’usage de ChatGPT 3.5⁄4 versus ChatGPT4 + Browse mode. Dans le premier cas, il se base sur ses connaissances et sort des informations dont la pertinence peut varier, voire dériver sur autre chose (c’est la root cause de l’hallucination des LLM, quand le contexte devient trop long, il perd les pédales, c’est pour ça que certains outils limitent la taille du contexte). Dans le second cas, il va chercher des infos sur le Web et les analyse ensuite tout s’en s’appuyant aussi sur sa “culture générale” (qui lui permet typiquement de comprendre le besoin).
J’ai plusieurs fois eu recours à ce moyen pour faire de l’analyse comparative entre différentes solutions. Plutôt que de passer des heures à aller comparer différents articles / docs / branlettes commerciales, c’est l’outil qui le fait et me sort un tableau récapitulatif en 5 minutes. Partant de là, j’approfondis les points qu’il n’a pas réussi à détailler ou qui sont incomplets.
#1.4
Sauf que ChatGPT ne comprend pas le besoin (en tout cas pas dans le sens qu’on a habituellement de la compréhension) et n’a aucune culture générale. Il prend les données en entrées (une suite de mot) et passe ça dans un réseau de neurones qui produisent une autre suite de mots en réponse.
#1.2
Un stagiaire ne redigera jamais du « charabia » et des propos « absurdes » … ou peut-être un stagiaire mal intentionné … ou qui écrirait de la fiction et aurait oublié ses notes dans un dossier juridique ?
Quand « un outil technologique (peut) inventer des affaires de toutes pièces », ce n’est pas un outil exploitable. Comme dit le juge : « il n’y a rien d’intrinsèquement inapproprié à utiliser un outil d’intelligence artificielle fiable pour obtenir de l’aide ».
En tout cas, il faut toujours se relire avant de remettre un travail. C’est une certitude. Autre certitude : l’outil informatique permet de fiabiliser la sauvegarde d’informations et d’accélerer son traitement, pas l’inverse.
#2
Petite amende, par contre les dégâts sur l’image du cabinet…
Si j’étais un de leurs clients, je me poserais des questions sur le fait de changer.
#2.1
Le pire c’est leur excuse: ah ben on pensait pas que ChatGPT pouvait dire n’importe quoi…
De un, ils ne font pas leur taff, de deux ils se documentent même pas sur comment fonctionne ChatGPT, et trois ils ne vérifient pas ce que ChatGPT dit…
Le pire cabinet d’avocat du monde là…
#3
Profonde méconnaissance du fonctionnement d’un outil + excès de confiance…. Tout ce qu’il faut pour ca tourne pas bien.
C’est pas réservé à l’informatique - 5 milliairdaire en ont aussi fait les frais récemment.
#4
Bah, il n’y a pas que dans la tech ou les gens prennent des raccourcis pour botter en touche lorsqu’ils n’ont pas le courage de faire leur travail correctement. Perso je vois ça comme un état d’esprit qui a probablement (en partie au moins) ses source à l’école … Certains y apprennnet à exceller dans l’art de la triche et du repompage, en se servant du travil des autres, et arrivés dans la vie active, ils se mettent à reproduire un schéma qu’ils ont apprios durant leurs études. Sauf que, tôt ou tard, c’est le retour de flamme assuré. Il n’y a qu’en politique, ou les responsables ne sont responsables de rien, ou dans la hierarchie des grands groupes (ou tout le monde valide et personne ne prend de décision), que cette stratégie peut être appliquée sans grande conséquences.
ChatGPT peut être un outil intéressant, mais nécessite de vérifier les informations qu’il retourne. Il peut permettre de donner des pistes lorsqu’on a des recherches à faire, mais il est important de demander des références précises et de vérifier chaque information retournée (personnellement ,j’ai toujours pris la précaution de vérifier ce qu’il disait pour constater que bien souvent, dans les grandes lignes l’outil indiquait des choses intéressantes, mais que dans les détails il fallait ajuster ses réponses, mais que dans certain cas il répondait completement à côté).
#4.1
Comme une recherche Google en fait
Ca me rappelle mon jeune temps de l’époque où Itnernet c’était au CDI du bahut et pas vraiement à la maison.
Le nombre de résultat foireux de recherches mal foutu qui se retrouvaient sur les copies
#4.2
Nancy : Une professeure refuse de corriger les copies en raison d’un recours excessif à ChatGPT (20mn, 26/06/23)
#5
Ça avait déjà eu lieu avant ChatGPT quand il y avait Google : https://www.lepoint.fr/justice/deux-sevres-un-agriculteur-francais-condamne-a-tort-en-vertu-d-une-loi-suisse-05-03-2019-2298262_2386.php
Par contre ce n’est pas normal qu’un avocat digne de ce nom ne vérifie pas ce qu’il cite. On se croirait dans le Juge de Lucky Luke : « je ne sais pas qui est ce casus belli, tu l’as peut-être descendu mais je ne suis pas dans le coup »
Comme quoi, avoir l’examen du barreau et une robe noire ne rend pas automatiquement superman
#6
Il est pourtant parfaitement recevable de renvoyer à des fausses décisions de justice, comme le montre la jurisprudence dans l’affaire Tintin contre Gengis-Khan de juin 2003.
#7
Ce qui me tue le plus, c’est que c’est loin d’être la première affaire du genre, mais qu’apparemment, ils ne font aucune veille sur le sujet et que l’ordre des avocats n’a toujours pas fait interdire ce genre d’outil non fiable.
Quand t’es le premier à en faire les frais, c’est pas de chance, mais quand la presse publie toutes les semaines ce genre d’histoire, faut vraiment être le dernier des imbéciles pour continuer à utiliser ce genre d’outil en milieu pro. Pire encore quand ça ne s’accompagne d’aucune vérification / validation.
#7.1
Quel ordre des avocats ? On parle ici d’une affaire aux USA. Tu as des pointeurs sur d’autres affaires de ce genre pour des avocats ?
Quant à ton “toutes les semaines”, tu dois généraliser à tous les sujets, pas seulement au droit.
#8
ChatGPT, c’est comme un stagiaire, mais en bien pire. Quand les limites de ses connaissances ou de sa compréhension sont atteintes, contrairement au stagiaire, l’outil n’a pas de conscience qui puisse l’arrêter.
#9
La prochaine fois ils utiliseront un outil fait pour et qui marche vraiment, genre https://www.caselawanalytics.com/ … (faudra “juste” l’alimenter en jurisprudences)
#10
Chat GPT, l’outil qui répond souvent des choses différentes à la même question…by design, d’ailleurs (cf. le concept de « temperature » ).
Je comprends toujours pas comment certains ont pu penser utiliser un pipotron++ pour des actes qui demandent de la rigueur (justice, médecine etc..).
#11