Erreurs, absences de modération : Lucie, le chatbot de Linagora, rapidement fermé
No sky, no diamonds

Après avoir annoncé, l'arrivée de son « IA véritablement open source fondée sur la transparence, la confiance et l'efficacité », Linagora ferme « temporairement » son chatbot Lucie. Ce dernier a subi de nombreuses critiques sur les réseaux sociaux.
Le 27 janvier à 16h29
6 min
IA et algorithmes
IA
Lucie, le chatbot qui devait permettre à l'éditeur historique de logiciels libres français Linagora de faire la publicité de son nouveau modèle de langage, a sacrément dérapé. Mis en place sans aucune « instruction approfondie », Renforcement par Apprentissage Humain (RHLF) ni garde-fous (guardrails), ce chatbot a subi dès son ouverture au public les critiques de divers internautes sur les réseaux sociaux. Et l'entreprise a dû fermer l'accès à son chatbot.
Mauvais calculs, œufs de vache et parlant comme Hitler si on lui demande
Le chatbot faisait des erreurs de calcul comme 5(3 + 2) qui serait égal à 17 sans le détail de l'opération, puis à 50 une fois que l'IA de Linagora expliquait comment elle y arrivait.
D'autres internautes ont rapidement montré que ce chatbot pouvait disserter sur les œufs de vache sans expliquer que ça n'existe pas, ou n'avait aucun filtre bloquant la possibilité de lui faire rédiger un texte en parlant comme Adolf Hitler.
Ces problèmes des modèles de langage sont pourtant connus depuis longtemps. En 2022, une semaine avant la sortie de ChatGPT, Google devait se résoudre à dépublier son IA générative Galactica au bout de trois jours seulement suite à des critiques sur la génération d'articles racistes et mensongers, alors qu'elle devait aider les chercheurs à écrire leurs articles scientifiques.
Si tous les chatbots basés sur des modèles de langage génèrent de la désinformation, le sujet de la modération est connu et ne peut plus être ignoré. C'est d'ailleurs sous cet angle qu'OpenAI a lancé en septembre dernier o1 qui évalue sa réponse avant de l'envoyer à son utilisateur.
Dans son communiqué de presse, Linagora reconnait : « nous savons bien entendu que les capacités de "raisonnement" (y compris sur des problèmes mathématiques simples) ou encore la capacité à générer du code de la version actuelle de LUCIE sont insatisfaisantes. Nous aurions dû informer les utilisateurs de la plate-forme de ces limites de telle manière à ne pas créer d’attente inutile ».
Avant de mettre en ligne son outil, l'entreprise avait pourtant annoncé (voir sur Internet Archive) sur le site dédié que Lucie serait « l'IA véritablement open source fondée sur la transparence, la confiance et l'efficacité » :

Une « interface de chat », pas un chatbot
« Il est évident que nous n'avons pas suffisamment bien communiqué et clarifié sur ce que LUCIE peut ou ne peut pas faire dans son état actuel, ainsi que la nature des travaux réalisés jusqu'à présent », affirme Linagora.
Et alors que Linagora avait utilisé le TLD .chat, pour l'entreprise, ce n'est maintenant plus un chatbot mais « une interface de chat », « soyez précis » comme nous le demande le responsable de l'ingénierie R&D chez Linagora Damien Lainé. La confusion serait, selon lui, un « présupposé erroné ».
Next lui a fait remarquer que « ce chatbot n'est pas seulement un LLM "brut" mis en ligne sur Hugging Face, comme vous l'avez d'ailleurs fait il y a 2 semaines » et lui a demandé « en quoi Lucie (le chatbot) se différenciait de ChatGPT, Le Chat ou autres, concernant les besoins de modération et de RAG (génération augmentée par récupération) ? ».
Damien Lainé nous a répondu : « et bien si, le chat Lucie était juste un moyen d'interagir avec le modèle fondation (pas de module de raisonnement, pas de guardrails, encore moins de RAG). Juste un instruct minimal pour permettre la modalité "chat". Encore une fois, et j'ai pourtant été clair, ce n'est ni un produit, ni un démonstrateur pour un produit. C'est juste une interface de chat sur un modèle fondation qui n'est ni fine-tuné ni rien… ».
Une interface développée par Linagora seule, mais un modèle entrainé sur Jean ZAY du CNRS
Linagora a développé seule cette « interface de chat » « dans le simple but de permettre d'interagir avec le modèle et qu'il était possible donner une "parole" », ajoute-t-il. Le CNRS n'est donc en rien responsable de cette interface contrairement à ce que certains ont pu affirmer.
« Il ne faut pas confondre le modèle de langage Lucie avec le site Lucie.chat qui avait été proposé pour permettre à chacun de tester le modèle sur une interface chat », nous explique Damien Lainé. Il faut dire que le choix des dénominations des produits, chez Linagora comme ailleurs (souvenons-nous du Copilot de Microsoft, par exemple), n'aide pas à les différencier.
Car, en effet, le modèle de langage Lucie, est créé au sein du consortium OpenLLM-France qui rassemble Linagora, le CNRS, le CEA et la startup OpinionScience. Ce groupement a été lauréat en mai 2024 de l’appel à projets « Communs numériques pour l’IA générative » [PDF] ironiquement pour élaborer « une suite d’outils pour l’IA générative, notamment pour l’évaluation de modèles francophones ».
Mais le COO de Linagora, Michel-Marie Maudet l'affirme, « LUCIE a été pour le moment financée quasiment à 100% sur les fonds propres de LINAGORA », tout en reconnaissant bénéficier « d'un accès à la machine Jean ZAY », le supercalculateur du CNRS.
Encore une IA au nom féminin
Un autre point a soulevé des questions lors de la mise en ligne de Lucie : incarné par l'image d'une femme blonde drapée dans un drapeau bleu-blanc-rouge numérisé (digitalisé diront certains), le projet de Linagora reprend encore un prénom féminin.
Le syndicat SNCS-FSU du personnel de recherche d'Inria pose la question : « Est-ce qu'on peut arrêter de donner des noms de femme aux logiciels de recherche ? ». Il est vrai que les logiciels, et notamment ceux d'IA, sont souvent nommés avec des prénoms féminins. Pensons à Alexa, Siri, Tay ou encore Matilda. On trouvera des contre-exemples comme le chatbot juridique Ross ou Einstein GPT de Saleforce, cherchant à cibler un côté plus « expert ».
Comme l'expliquait déjà Norbert Wiener, l’inventeur d’une science appelée la cybernétique, certains informaticiens ont tendance à se voir en Pygmalion sculptant Galatée. Isabelle Collet, en 2009, remarquait que « dans ce mythe, le but de la création de Pygmalion est d’améliorer le modèle : les femmes nées de la différence des sexes n’apportent pas satisfaction ». L'incarnation des IA en femmes n'a donc pas débuté avec Lucie, mais celle-ci se place dans un historique d'objectivisation des femmes.
Continuant dans la même veine, mais traitant en dérision Lucie, un site parodique nommé « Lucienne » propose « l'IA dégénérative open bar, mais franchement basée sur des secrets, des doutes et une efficacité discutable ».
Erreurs, absences de modération : Lucie, le chatbot de Linagora, rapidement fermé
-
Mauvais calculs, œufs de vache et parlant comme Hitler si on lui demande
-
Une « interface de chat », pas un chatbot
-
Une interface développée par Linagora seule, mais un modèle entrainé sur Jean ZAY du CNRS
-
Encore une IA au nom féminin
Commentaires (23)
Abonnez-vous pour prendre part au débat
Déjà abonné ? Se connecter
Cet article est en accès libre, mais il est le fruit du travail d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles
Profitez d’un média expert et unique
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousLe 27/01/2025 à 17h19
Le 27/01/2025 à 18h44
Qu'elle ne baissera jamais les bras
En regardant toujours devant soi
Le 27/01/2025 à 17h27
Modifié le 28/01/2025 à 03h26
L'IA véritablement open source fondée sur la transparence, la confiance et l'efficacité.
Au-delà de l'ouverture, nous pronons la transparence et la confiance.
Lucie n'est pas seulement ouverte, elle est également transparente et fiable. Depuis sa création, chaque décision a été guidées par des principes de responsabilité, d'équité et de fiabilité. Que ce soit pour l'éducation, le gouvernement ou la recherche, LUCIE est conçue pour être un modèle sur lequel vous pouvez compter.
Le 27/01/2025 à 18h07
Le 28/01/2025 à 07h33
Modifié le 27/01/2025 à 17h54
Creusons un peu les réactions sur le post associé :
... 🙃
Le 27/01/2025 à 17h55
Le 28/01/2025 à 09h33
Le 28/01/2025 à 11h24
Le 27/01/2025 à 18h00
[aucazou tapalaref : https://fr.wikipedia.org/wiki/Lucy_(australopith%C3%A8que) ]
Le 27/01/2025 à 18h08
Modifié le 28/01/2025 à 10h02
Australopithecus Intelligencia Naturalibus pro Nomenklatura. Pour être exact. ;-)
Le 27/01/2025 à 18h23
Le 28/01/2025 à 08h57
Modifié le 28/01/2025 à 10h41
Le 28/01/2025 à 10h54
Là, avec ce raté, on va rentrer dans le process de condamnation-réhabilitation-postérité et pendant ce temps en Angleterre, on va voir arriver CAL-U, the brand new common ancestor, tournant sur CUDA, the pas-nouveau concurrent.
Le 27/01/2025 à 20h20
Le 27/01/2025 à 21h07
Merci
Le 28/01/2025 à 09h46
En même temps, elle avait l'air bien "blonde" cette IA! Donc c'est pas totalement immérité comme incarnation!
Le 28/01/2025 à 10h18
Le 28/01/2025 à 10h35
Bon même quand on ne lui demandait pas.
En revanche le touin-touin sexiste est p'tre de trop?
1- Je ne savais pas que Siri est un prénom féminin… jamais entendu ailleurs que sur un iPhone.
Ce serait marrant alors qu'on ait le choix de l'identifiant déclencheur de l'écoute vocale. On peut déjà choisir son tymbre de voix.
Le 28/01/2025 à 12h17