Connexion Premium

Dans la fonction publique, l’expérimentation de « L’Assistant » laisse sceptique

Mouais bof

Dans la fonction publique, l’expérimentation de « L’Assistant » laisse sceptique

Illustration : Flock

La généralisation du déploiement de l’agent IA « L’Assistant » de la DINUM pour tous les agents publics a été annoncée par Sébastien Lecornu. Mais les résultats de l’expérimentation, sans être négatifs, montrent qu’il sera difficile de généraliser son utilisation à la place d’autres outils d’IA générative.

La semaine dernière, le Premier ministre, Sébastien Lecornu, a fait une série d’annonces sur l’intelligence artificielle, dont la généralisation de l’accès au projet « L’Assistant » qui doit équiper tous les agents de la fonction publique. Après dix mois de beta test, les agents ayant donné leur avis semblent l’avoir bien accueilli, mais ils sont finalement peu nombreux par rapport au nombre de beta testeurs affichés par le ministère.

Ce service est un chatbot opéré par la DINUM pour que les agents publics français « dialogu[ent] avec des modèles d’intelligence artificielle générative dans un environnement sécurisé ». On imagine que l’idée est de réduire le « shadow AI » (l’utilisation de bots IA commerciaux dans les bureaux, sans être passés par un contrat) qui se pratique dans les bureaux de la fonction publique.

Mais le but est peut-être aussi d’éviter les déconvenues comme celle du projet HéphAIstos, destiné aux hauts fonctionnaires de Bercy, qui repose sur des modèles de l’entreprise chinoise Qwen AI. Certains utilisateurs ont relevé, rapporte l’AFP, des « réponses orientées » ou « biaisées » sur des sujets relatifs à la Chine.

Le CNRS, comme d’autres institutions françaises, avait fait le choix de signer un contrat avec Mistral, au risque d’un déploiement du chatbot qualifié à l’époque de « pas sérieux ». Ici, la DINUM et le gouvernement ont pris les devants avec un outil maison, une expérimentation pendant dix mois et une évaluation menée par des chercheurs en sciences sociales de l’INRIA, l’INSA Rennes et du CNRS.

Un chiffre de beta testeurs répondant pas si important qu’affiché

La direction interministérielle de la transformation publique a partagé à la fin de cette expérimentation les résultats de l’évaluation [PDF]. Alors que le ministère affiche que le projet a été « expérimenté pendant dix mois auprès de 10 000 agents issus de six ministères (Justice, Finances, Éducation nationale, Culture, Enseignement supérieur et Recherche, Services du Premier ministre) », remarquons d’abord que le document précise que c’est le nombre de licences déployées par la DINUM.

Il explique que plusieurs questionnaires ont été envoyés entre décembre 2025 et juin 2026, mais seulement aux ministères économiques et financiers et au ministère de la Justice. Chez les premiers, 1 359 agents ont accepté de participer à l’évaluation en décembre 2025, 874 d’entre eux ont fait un retour en mars et seulement 465 ont répondu au questionnaire de fin d’expérimentation. Du côté du ministère de la Justice, il n’y a eu que 700 retours en janvier et le document n’évoque aucun retour de questionnaire de fin d’expérimentation de la part des services du garde des Sceaux, Gérald Darmanin.

L’évaluation a aussi été faite en prenant en compte 20 entretiens qualitatifs semi-dirigés et trois focus-groups en présentiel.

Des répondants qui jugent que l’Assistant répond moins bien à leurs besoins que les autres IA génératives

Sachant cela, les répondants sont majoritairement satisfaits de l’outil : 65 % recommanderaient l’Assistant IA à un collègue et 75 % estiment qu’il est utile pour leur métier. Mais ils sont une courte majorité à affirmer qu’ils utilisent moins souvent des solutions non souveraines dans le cadre professionnel grâce à l’Assistant. Et encore plus difficile à avaler pour le projet, « 57 % considèrent que les autres IA génératives répondent mieux à leurs besoins ».

On le voit aussi dans les réponses concernant les freins à l’usage : le manque de confiance dans la fiabilité des réponses est ce qui revient en premier. La méconnaissance des fonctionnalités adaptées aux spécificités de leurs métiers arrive juste après.

Finalement, ces résultats de l’expérimentation ont de quoi laisser sceptique sur les capacités réelles de l’Assistant à remplacer le shadow AI dans les bureaux des ministères.

Commentaires (9)

votre avatar
La DGFiP développe sa propre IA également. J'ai pu testé cette IA et je la trouve bien plus convaincante que l'Assistant pour des tâches simples.
votre avatar
Finalement, ces résultats de l’expérimentation ont de quoi laisser sceptique sur les capacités réelles de l’Assistant à remplacer le shadow AI dans les bureaux des ministères.
Comme en entreprise.

Malgré le Copilot de MS 365 et sa licence premium mes fesses (mais qui permet l'usage des ressources internes...), il n'est pas rare de voir lors d'une visio en partage d'écran un onglet ChatGPT ou Claude dans les contextes où je preste.
votre avatar
Ils restent sur les outils sur lesquels ils ont habitués ? Pour les gens proche de la retraite je constate souvent cela, on leur met à disposition un nouvel outil mais ils continuent à utiliser leur outil actuel. J'en ai connu un qui ne voulait pas quitter windows 7 heureusement il est parti à la retraite
votre avatar
La conduite du changement, c'est aussi le truc oublié, voir omis, par 99 % des projets IT...
votre avatar
Je peux comprendre cette résistance quand tu as travaillé avec des outils de meilleure qualité. Chez Microsoft le changement est souvent synonyme de dégradation.
C'est souvent des détails, mais accumulés et justement comparés avec les anciennes versions, que les vieux ont connues, c'est lassant.
Les anciens systèmes respectaient l'utilisateur, et il était par exemple inconcevable que l'ordinateur vole le focus quand on est en train d'écrire. Maintenant ça pose aucun problème.
Avant il suffisait de faire ctrl+p suivi de entrer pour imprimer. Maintenant il faut quasiment utiliser la souris tout le temps... Au revoir la productivité.
votre avatar
Ce qui est « marrant » c’est que les répondants indiquent que les résultats sont moins bon que d’autres IAgen alors que souvent, ces outils sont interdits… c’est bien, continuez à alimenter ces outils des données privées / confidentielles / stratégiques à ces boites, tout va bien se passer !
votre avatar
La cybersécurité est l'affaire de tous, mais personne n'en a rien à br... tant qu'il n'y a pas de sanctions lourdes (mais genre, vraiment).
votre avatar
Chez les profs, on a une IA qui vient d'être déployé pour les "trucs simples". On nous dit que pour des choses liés à la pédagogie, ben, faut plutôt utiliser un autre produit de la DINUM. Il se chuchote dans les couloirs que le premier produit est propulsé par mistral. Après test, il faut bien le cadrer, il a tendance à produire une partie des réponses hors sujet (je demande une formule pour calc, il sort pour calc ET Excel) et est assez bavard. Les réponses sont correctes.
Il permet aussi , en béta, à faire du RAG. Ben là, il répond franchement bien et reste collé au cours que je lui ais donné. Mais là aussi, le document est parfaitement structuré et dans le pré-prompt, il y a tout le contexte et l'explication de la structure du cours. C'est de la SVT, je ne m'engagerais pas sur des maths avec des théorèmes and co.
Je trouve que le biais ici c'est qu'on ne sais pas vraiment si tous les utilisateurs savent utiliser correctement l'IA.