Connexion
Abonnez-vous

Erreurs, absences de modération : Lucie, le chatbot de Linagora, rapidement fermé

No sky, no diamonds

Erreurs, absences de modération : Lucie, le chatbot de Linagora, rapidement fermé

Après avoir annoncé, l'arrivée de son « IA véritablement open source fondée sur la transparence, la confiance et l'efficacité », Linagora ferme « temporairement » son chatbot Lucie. Ce dernier a subi de nombreuses critiques sur les réseaux sociaux.

Le 27 janvier à 16h29

Lucie, le chatbot qui devait permettre à l'éditeur historique de logiciels libres français Linagora de faire la publicité de son nouveau modèle de langage, a sacrément dérapé. Mis en place sans aucune « instruction approfondie », Renforcement par Apprentissage Humain (RHLF) ni garde-fous (guardrails), ce chatbot a subi dès son ouverture au public les critiques de divers internautes sur les réseaux sociaux. Et l'entreprise a dû fermer l'accès à son chatbot.

Mauvais calculs, œufs de vache et parlant comme Hitler si on lui demande

Le chatbot faisait des erreurs de calcul comme 5(3 + 2) qui serait égal à 17 sans le détail de l'opération, puis à 50 une fois que l'IA de Linagora expliquait comment elle y arrivait.

D'autres internautes ont rapidement montré que ce chatbot pouvait disserter sur les œufs de vache sans expliquer que ça n'existe pas, ou n'avait aucun filtre bloquant la possibilité de lui faire rédiger un texte en parlant comme Adolf Hitler.

Ces problèmes des modèles de langage sont pourtant connus depuis longtemps. En 2022, une semaine avant la sortie de ChatGPT, Google devait se résoudre à dépublier son IA générative Galactica au bout de trois jours seulement suite à des critiques sur la génération d'articles racistes et mensongers, alors qu'elle devait aider les chercheurs à écrire leurs articles scientifiques.

Si tous les chatbots basés sur des modèles de langage génèrent de la désinformation, le sujet de la modération est connu et ne peut plus être ignoré. C'est d'ailleurs sous cet angle qu'OpenAI a lancé en septembre dernier o1 qui évalue sa réponse avant de l'envoyer à son utilisateur.

Dans son communiqué de presse, Linagora reconnait : « nous savons bien entendu que les capacités de "raisonnement" (y compris sur des problèmes mathématiques simples) ou encore la capacité à générer du code de la version actuelle de LUCIE sont insatisfaisantes. Nous aurions dû informer les utilisateurs de la plate-forme de ces limites de telle manière à ne pas créer d’attente inutile ».

Avant de mettre en ligne son outil, l'entreprise avait pourtant annoncé (voir sur Internet Archive) sur le site dédié que Lucie serait « l'IA véritablement open source fondée sur la transparence, la confiance et l'efficacité » :

Une « interface de chat », pas un chatbot

« Il est évident que nous n'avons pas suffisamment bien communiqué et clarifié sur ce que LUCIE peut ou ne peut pas faire dans son état actuel, ainsi que la nature des travaux réalisés jusqu'à présent », affirme Linagora.

Et alors que Linagora avait utilisé le TLD .chat, pour l'entreprise, ce n'est maintenant plus un chatbot mais « une interface de chat », « soyez précis » comme nous le demande le responsable de l'ingénierie R&D chez Linagora Damien Lainé. La confusion serait, selon lui, un « présupposé erroné ».

Next lui a fait remarquer que « ce chatbot n'est pas seulement un LLM "brut" mis en ligne sur Hugging Face, comme vous l'avez d'ailleurs fait il y a 2 semaines » et lui a demandé « en quoi Lucie (le chatbot) se différenciait de ChatGPT, Le Chat ou autres, concernant les besoins de modération et de RAG (génération augmentée par récupération) ? ».

Damien Lainé nous a répondu : « et bien si, le chat Lucie était juste un moyen d'interagir avec le modèle fondation (pas de module de raisonnement, pas de guardrails, encore moins de RAG). Juste un instruct minimal pour permettre la modalité "chat". Encore une fois, et j'ai pourtant été clair, ce n'est ni un produit, ni un démonstrateur pour un produit. C'est juste une interface de chat sur un modèle fondation qui n'est ni fine-tuné ni rien… ».

Une interface développée par Linagora seule, mais un modèle entrainé sur Jean ZAY du CNRS

Linagora a développé seule cette «  interface de chat » « dans le simple but de permettre d'interagir avec le modèle et qu'il était possible donner une "parole" », ajoute-t-il. Le CNRS n'est donc en rien responsable de cette interface contrairement à ce que certains ont pu affirmer.

« Il ne faut pas confondre le modèle de langage Lucie avec le site Lucie.chat qui avait été proposé pour permettre à chacun de tester le modèle sur une interface chat », nous explique Damien Lainé. Il faut dire que le choix des dénominations des produits, chez Linagora comme ailleurs (souvenons-nous du Copilot de Microsoft, par exemple), n'aide pas à les différencier.

Car, en effet, le modèle de langage Lucie, est créé au sein du consortium OpenLLM-France qui rassemble Linagora, le CNRS, le CEA et la startup OpinionScience. Ce groupement a été lauréat en mai 2024 de l’appel à projets « Communs numériques pour l’IA générative » [PDF] ironiquement pour élaborer « une suite d’outils pour l’IA générative, notamment pour l’évaluation de modèles francophones ».

Mais le COO de Linagora, Michel-Marie Maudet l'affirme, « LUCIE a été pour le moment financée quasiment à 100% sur les fonds propres de LINAGORA », tout en reconnaissant bénéficier « d'un accès à la machine Jean ZAY », le supercalculateur du CNRS.

Encore une IA au nom féminin

Un autre point a soulevé des questions lors de la mise en ligne de Lucie : incarné par l'image d'une femme blonde drapée dans un drapeau bleu-blanc-rouge numérisé (digitalisé diront certains), le projet de Linagora reprend encore un prénom féminin.

Le syndicat SNCS-FSU du personnel de recherche d'Inria pose la question : « Est-ce qu'on peut arrêter de donner des noms de femme aux logiciels de recherche ? ». Il est vrai que les logiciels, et notamment ceux d'IA, sont souvent nommés avec des prénoms féminins. Pensons à Alexa, Siri, Tay ou encore Matilda. On trouvera des contre-exemples comme le chatbot juridique Ross ou Einstein GPT de Saleforce, cherchant à cibler un côté plus « expert ».

Comme l'expliquait déjà Norbert Wiener, l’inventeur d’une science appelée la cybernétique, certains informaticiens ont tendance à se voir en Pygmalion sculptant Galatée. Isabelle Collet, en 2009, remarquait que « dans ce mythe, le but de la création de Pygmalion est d’améliorer le modèle : les femmes nées de la différence des sexes n’apportent pas satisfaction ». L'incarnation des IA en femmes n'a donc pas débuté avec Lucie, mais celle-ci se place dans un historique d'objectivisation des femmes.

Continuant dans la même veine, mais traitant en dérision Lucie, un site parodique nommé « Lucienne » propose « l'IA dégénérative open bar, mais franchement basée sur des secrets, des doutes et une efficacité discutable ».

Commentaires (23)

votre avatar
Erreurs, absences de modération : Lucie, le chatbot de Linagora, rapidement fermé
Il y a des soirs comme ça où tout s'écroule autour de vous, sans trop savoir pourquoi.
votre avatar
J'espère que Lucie ne s'arrêtera pas
Qu'elle ne baissera jamais les bras
En regardant toujours devant soi
votre avatar
La réponse de Linagora, c’est de la langue de bois générée par un LLM ?
votre avatar
Surtout si on reprends le texte complet de la page :

L'IA véritablement open source fondée sur la transparence, la confiance et l'efficacité.
Au-delà de l'ouverture, nous pronons la transparence et la confiance.

Lucie n'est pas seulement ouverte, elle est également transparente et fiable. Depuis sa création, chaque décision a été guidées par des principes de responsabilité, d'équité et de fiabilité. Que ce soit pour l'éducation, le gouvernement ou la recherche, LUCIE est conçue pour être un modèle sur lequel vous pouvez compter.
votre avatar
Ca ressemble plutôt à un plagia de Magritte: "Ceci n'est pas un Chat"
votre avatar
C’est un chat qwantique 😅
votre avatar
Le syndicat SNCS-FSU du personnel de recherche d'Inria pose la question : « Est-ce qu'on peut arrêter de donner des noms de femme aux logiciels de recherche ? »
étonnant comme réaction, quand on entend dire à longueur de journée que le patriarcat, que les femmes sont invisibilisées, que les sciences/recherches/informatiques ne sont pas assez inclusif, etc etc.

Creusons un peu les réactions sur le post associé :
Le fait que toutes ces "intelligences" soient perçues comme féminines, ça me laisse perplexe. Comme je trouve que ces IA sont bêtes, ça m'embête.
oui clairement l'image c'est vraiment le pire. Ça fait très pub pour le rassemblement national.
Et oui, quitte à utiliser une représentation antropomorphe, ça aurait pu ne pas être une jeune femme mince, blonde et drappée de bleu-blanc-rouge comme une égérie du RN.
... 🙃
votre avatar
Grok, c'est masculin ou féminin ?
votre avatar
Ça m'évoque un troll, et vu d'où il provient, ça correspond parfaitement en fait. Superbe nommage
votre avatar
Et Claude ? :D
votre avatar
Personnellement, je n'ai pas pensé à "femme" mais à "Lucy" et, un brin taquin, je me suis dit que c'était une IA préhistorique, donc elle ne savait ni lire ni compter, c'était normal :D

[aucazou tapalaref : https://fr.wikipedia.org/wiki/Lucy_(australopith%C3%A8que) ]
votre avatar
Australopithecus Intelligencia
votre avatar

Australopithecus Intelligencia Naturalibus pro Nomenklatura. Pour être exact. ;-)
votre avatar
Y a un parallèle à faire avec Lucy in the sky niveau hallucination !
votre avatar
Il y a aussi et surtout que Les Trompettes de la renommée est sortie avant Lucy in the Sky with Diamonds.
votre avatar
Certes, mais ça perd le jeu de mot sur lucy / lucie en plus de celui sur IA / hallucination :D
votre avatar
Tout à fait, mais la posture des concepteurs ressemble pas mal à un couplet bien de chez nous. Comme si la censure Française provoquait encore et toujours les associations d'Anglais.
Là, avec ce raté, on va rentrer dans le process de condamnation-réhabilitation-postérité et pendant ce temps en Angleterre, on va voir arriver CAL-U, the brand new common ancestor, tournant sur CUDA, the pas-nouveau concurrent.
votre avatar
Lucienne :incline::love:
votre avatar
C'est cool d'avoir quelques réponses (financement etc) car les articles dans le reste de la presse c'est juste des extraits des délires de Lucie. Sans le contexte etc

Merci
votre avatar
"incarné par l'image d'une femme blonde"...

En même temps, elle avait l'air bien "blonde" cette IA! Donc c'est pas totalement immérité comme incarnation!
:roule::fou3:
votre avatar
Article très intéressant. Par contre au delà d'une certaine maladresse au niveau de la communication et présentation de l'outil, je trouve que les gens sont vraiment mauvais esprit, je trouve ca bien que le projet existe et j'espère qu'il aboutira. Comparer avec Chat GPT me semble stérile et pas forcément pertinent à ce stade.
votre avatar
Je trouvais cette IA très imaginative… à tout point de vue… tout le temps…
Bon même quand on ne lui demandait pas.

En revanche le touin-touin sexiste est p'tre de trop?
1- Je ne savais pas que Siri est un prénom féminin… jamais entendu ailleurs que sur un iPhone.
Ce serait marrant alors qu'on ait le choix de l'identifiant déclencheur de l'écoute vocale. On peut déjà choisir son tymbre de voix.
votre avatar
Linagora a d'ailleurs annoncé ses changements de locaux a venir, ils n'ont plus de place pour stocker les casseroles

Erreurs, absences de modération : Lucie, le chatbot de Linagora, rapidement fermé

  • Mauvais calculs, œufs de vache et parlant comme Hitler si on lui demande

  • Une « interface de chat », pas un chatbot

  • Une interface développée par Linagora seule, mais un modèle entrainé sur Jean ZAY du CNRS

  • Encore une IA au nom féminin

Fermer