L’IA au ministère de l’Économie et des finances : utile, mais peut mieux faire, d’après la Cour des Comptes
La Cour des Comptes, championne de la frugalité ?
Analysant les expérimentations menées par le ministère de l’Économie en matière d’IA depuis près de 10 ans, la Cour des Comptes appelle à un meilleur pilotage des usages et promeut l’IA frugale.
Le 23 octobre à 09h55
9 min
IA et algorithmes
IA
Programme Signaux Faibles pour faciliter la détection des difficultés des entreprises, programme Foncier innovant pour repérer les biens fonciers non déclarés à l’administration fiscale… Depuis 2015, le ministère de l’Économie, des finances et de la souveraineté industrielle et numérique (MEFSIN) teste des usages de technologies d’intelligence artificielle.
À la suite du rapport de Cédric Villani, alors député, rendu début 2018, le gouvernement a par ailleurs adopté une « stratégie nationale pour l’intelligence artificielle » (SNIA), dans laquelle sont venues s’inscrire les activités du ministère. Dans un rapport publié ce 22 octobre, la Cour des Comptes revient sur son application et sur l’efficacité des trente-cinq systèmes d’IA développés (ou en cours d'étude) au fil des ans.
Elle constate que les ressources fournies aussi bien par les directions interministérielles du numérique (Dinum) et de la transformation publique (DITP) que financées par le SNIA sont méconnues. Et regrette un manque de pilotage des projets d’IA, qu’elle propose de résoudre par l’attribution du pilotage stratégique de l’IA et des données numériques à une instance ministérielle précise, et par la création d’un incubateur d’IA au sein du ministère, avec l’aide de la Dinum.
Parmi ses autres recommandations, la Cour des Comptes appelle à une meilleure mesure des gains d’efficience et de productivité des projets d’IA ; à la mesure de l’impact environnemental des systèmes utilisés tout au long de leur cycle de vie, en vue de le réduire ; et à la promotion d’une démarche de frugalité en matière de déploiement de l’IA – approche qui permettrait autant de maîtriser les coûts environnementaux et les enjeux éthiques que de réduire la dépense.
Moyens principalement mobilisés par la DGFiP
Outre quelques cas de robots conversationnels fournis pour répondre aux usagers sans interruption ou aux agents – le programme ClaudIA aide par exemple les utilisateurs de Chorus Pro à réaliser leurs démarches –, la Cour des Comptes relève que la majorité des usages concerne « la gestion fiscale et la lutte contre les fraudes ». Ainsi de Ciblage de la Fraude et Valorisation des Requêtes (CFVR), qui utilise de l’analyse prédictive pour « alimenter la programmation des contrôles fiscaux ».
De fait, si huit directions du MEFSIN ont construit et testé des systèmes d’IA pour un coût total de 66 millions d’euros depuis 2015, la direction générale des Finances publiques (DGFiP) et l’agence pour l’informatique financière de l’État (AIFE) réunissent à elles seules la moitié des systèmes en question, et « 95 % des moyens mis en œuvre pour leur développement ».
Les technologies utilisées, elles, sont variables : 18 des projets déployés ou en cours d’étude recourent au traitement du langage, 8 à de la classification ou prédiction, de la régression ou des arbres de décision, 3 à de l’analyse d’images et un s’appuie sur un système expert. « En pratique, indique le rapport, les systèmes d’IA reposent souvent sur une combinaison de briques technologiques provenant » de ces différentes familles. Et de les classer comme suit pour en détailler les usages.
La Cour des Comptes reconnaît que « les directions disposant historiquement d’un parc informatique important, de services informatiques étoffés et d’un grand nombre de données de masse sont plus à même d’identifier des cas d’usages prometteurs » d’intelligence artificielle.
Elle regrette cela dit que des directions comme la « direction générale du Trésor et la direction du budget » n’aient aucune expérimentation en cours, « en dépit du potentiel de ces technologies pour améliorer les fonctions de modélisation, de prévision ou d’organisation des données dans les domaines économiques et financiers ».
Manque de maturité en termes d’éthique, de ressources humaines et de coût environnemental
Si le déploiement d’intelligence artificielle au sein des administrations soulève de nombreux enjeux de sécurité, la Cour des Comptes constate que « des clauses d’internalisation des compétences sont prévues lorsque ses directions recourent à des prestataires extérieurs pour développer certains systèmes d’IA », ce qui permet d’assurer la maîtrise des outils et d’en limiter les coûts d’entretiens. Par ailleurs, la menace cyber « paraît maîtrisée, dès lors que ces systèmes reposent sur des infrastructures généralement communes aux autres systèmes d’information sécurisés du MEFSIN ».
En revanche, la Cour des Comptes pointe un manque de prise en compte des enjeux de confiance, compris comme lutte contre les biais et les enjeux de transparence. Les technologies en question suscitent « une appréhension de la part des usagers et des agents publics » qui méritent, l’une comme l’autre, d’être traitées. Côté agents, elle souligne les inquiétudes relatives à l’emploi et différents biais d’usage, comme « le biais d’automatisation, qui consiste à accorder un crédit excessif aux machines au détriment du jugement individuel » ou le biais d’entraînement. Pour y parer, elle souligne la nécessité d’informer et d’accompagner usagers et agents.
Un volet du rapport se penche par ailleurs sur l’impact environnemental, dont l’évaluation n’est qu’« embryonnaire ». « Alors que l’État s’est engagé dans une démarche de réduction de l’impact environnemental du numérique, indique la Cour des Comptes, les actions entreprises pour réduire la taille des données, la longueur des algorithmes, la durée des entrainements, l’énergie utilisée, la provenance des matériaux ne sont ni documentées, ni coordonnées, et ne concernent, au mieux, qu’une partie du cycle de vie des systèmes d’IA utilisés au MEFSIN ».
Économies, emplois : les effets ambivalents de l’IA
En termes de ressources humaines, le rapport souligne que l’IA souligne les effets « ambivalents » de l’IA, et notamment sa capacité à « améliorer la productivité », sans que cela se traduise « nécessairement » par une « libération » de l’emploi.
De fait, l’usage de ces technologies modifie « la nature et le volume de l’activité sur l’ensemble de la chaîne de travail ». Cette modification peut prendre la forme d’une augmentation de la charge de travail, que ce soit grâce à de meilleures performances dans la détection d’irrégularités à traiter ou à cause de réponses erronées que les humains doivent corriger.
En exemple, la Cour des Comptes cite le cas du système LLaMandement, qui « libère les agents des tâches consistant à classer et à résumer les amendements du Parlement », mais dont le gain « est immédiatement réemployé pour améliorer la qualité et les délais des réponses apportées ».
Elle constate aussi un « effet rebond » du déploiement de certains chatbots, qui, en facilitant la sollicitation de l’administration, sans contrainte horaire, peuvent provoquer « une augmentation du volume global des demandes » et, dans le lot, une augmentation des demandes complexes auxquelles l’IA ne peut pas fournir de réponse.
En conséquence, la Cour des Comptes regrette une évaluation « très limitée » de ces effets, et appelle le ministère à documenter dès la phase d’étude préalable « les implications en matière de productivité, d’emplois, de formation et de conditions de travail » du recours à ces technologies. Une telle documentation lui permettrait de mieux anticiper, donc d’être en capacité de « fidéliser les compétences nécessaires » et de « répartir de façon pertinente les gains de productivité permis par ces technologies ».
Promotion de l’IA frugale… y compris en termes de dépenses
Globalement, la Cour de Comptes demande un « pilotage ministériel robuste et structuré », actuellement inexistant, pour « garantir la cohérence du recours à l’IA ». Ceci permettrait de s’assurer que l’IA est utilisée dans chaque espace où elle peut apporter de la productivité, mais aussi de s’assurer que les enjeux éthiques, de ressources humaines, et environnementaux soient traités également à travers chaque service. Elle suggère par exemple de s’inspirer des travaux de France Travail ou de la Banque de France en la matière.
Par ailleurs, sur cinq systèmes spécifiquement déployés par la DGFiP et l’AIFE dans le but de réaliser des économies, la Cour relève que les économies réalisées en 2022 ont généré 20,4 millions d’euros d’économies, contre 46,6 millions d’euros attendus. Constatant que ce type de technologies permet des économies « avérées, mais moins importantes qu’estimées initialement », elle insiste sur le fait que « la décision de recourir à l’IA doit être pilotée par l’efficience de la dépense, à l’échelle des projets comme à l’échelle du MEFSIN. »
En conséquence, la Cour des Comptes argumente en faveur d’une « frugalité du recours à l’IA », qu’elle décrit comme « point de convergence entre l’efficience, la confiance, et les intérêts environnementaux et de souveraineté ».
« Au-delà des avantages écologiques, la sobriété en matière de données, de modèles et d’infrastructures favorise l’efficience de la dépense, la robustesse des systèmes d’IA et la capacité des organisations à en conserver la pleine maîtrise », explique-t-elle.
L’IA au ministère de l’Économie et des finances : utile, mais peut mieux faire, d’après la Cour des Comptes
-
Moyens principalement mobilisés par la DGFiP
-
Manque de maturité en termes d’éthique, de ressources humaines et de coût environnemental
-
Économies, emplois : les effets ambivalents de l’IA
-
Promotion de l’IA frugale… y compris en termes de dépenses
Commentaires (0)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vous