Les modèles d’IA généralistes sont beaucoup plus énergivores que les spécialisés

Chaque sollicitation d’une application d’IA générative à un coût caché pour la planète. Selon une récente étude signée par Sasha Luccioni et Yacine Jernite, chercheurs chez Hugging Face, et Emma Strubell de la Carnegie Mellon University, créer une image par ce biais consommerait autant d’énergie que la recharge complète d’un smartphone – en comparant un modèle moyen, dont la recharge complète demanderait 0.012 kWh.

Utiliser ce type de technologie pour produire du texte semble moins dépensier en énergie : pour un texte de 1 000 mots, les scientifiques estiment que seulement l'équivalent de 16 % de recharge d’une batterie de smartphone est nécessaire. Autre comparatif proposé : produire 1 000 images avec un modèle puissant comme Stable Diffusion XL émettrait autant CO₂ que la conduite d’une voiture américaine moyenne sur 6,5 km.

Comme toujours, l’estimation du coût énergétique d’une pratique numérique est complexe. Les scientifiques notent par exemple qu’il existe de grandes variations de consommation selon les modèles. Il en existe, aussi, selon l’endroit où les opérations sont menées, et le mix énergétique local.

En l’occurrence, l’équipe a réalisé ses expérimentations sur un GPU NVIDIA A100-SXM4-80GB hébergé par Amazon Web Services, c’est-à-dire dans des data centers installés dans l’Oregon, aux États-Unis. Pour suivre les émissions carbones et les dépenses énergétiques de son travail, elle a utilisé CodeCarbon.

• Mesurer l’empreinte environnementale du numérique, un vrai casse-tête
• Difficile évaluation du coût environnemental et financier de l’utilisation des grands modèles de langage
• Usages et frugalité : quelle place pour les IA dans la société de demain ?

Entraînement, inférence ou les deux ?

En pratique, l’équipe s’est penchée sur 88 modèles de machine learning, aussi bien spécialisés sur une tâche précise que généralistes (c’est-à-dire capables de réaliser une variété de tâches). En guise d’étalon, elle a pris le coût énergétique et les émissions de dioxyde de carbone provoquées pour réaliser 1 000 inférences (une opération) sur trente jeux de données, avec chacun des modèles.

Le but : apporter de nouveaux éléments sur le coût environnemental dans la mesure où les travaux récents sur le sujet « se sont largement concentré sur la quantification du coût énergétique et en CO2 de la phase d’entraînement du cycle de vie d’un modèle de machine learning », indique leur étude.

En 2019, aux côtés d’Ananya Ganesh et d’Andrew McCallum, Emma Strubell avait notamment co-signé un article remarqué sur le sujet. À l’époque, les trois scientifiques constataient que l’entraînement d’un modèle Transformer avec recherche automatique d’architecture neuronale (Neural Architecture Search, NAS) pouvait émettre autant de CO2 que cinq voitures américaines moyennes sur la totalité de leur cycle de vie.

Cette fois-ci, l’équipe de recherche a comparé ces coûts pour dix des tâches les plus populaires sur la plateforme d’Hugging Face, parmi lesquelles la réponse aux questions, la génération de texte, la classification ou la génération d’image, la production de légendes, etc. Leur raisonnement : si réaliser une « unique inférence demande beaucoup moins de calculs que l’entraînement du modèle concerné, les inférences sont beaucoup plus fréquentes que l’entraînement », surtout à l’ère de l’ouverture d’applications comme ChatGPT, Stable Diffusion ou Midjourney au grand public.

La tendance n’a d'ailleurs rien de neuf : dès 2016, Google rapportait traduire plus de 100 milliards de mots chaque jour grâce à Google Translate, qui fonctionne avec des technologies d’apprentissage profond.

Évolution et variation des consommations

Car s’ils défraient (à nouveau) la chronique depuis une grosse année, les modèles d’IA font partie intégrante d’une industrie désormais bien installée, et sont le produit d’innovations technologiques fréquentes.

Pour les replacer dans leur contexte, Luccionni, Jernite et Strubell notent que la consommation électrique de Meta, Amazon, Microsoft et Google, qui constituent aussi les principaux fournisseurs de puissance de calcul « en nuage », a plus que doublé entre 2017 et 2021. Et indiquent que la consommation globale en électricité des data centers a augmenté entre 20 et 40 % par an dans la période la plus récente, pour représenter entre 1 et 1,3 % de la demande mondiale en électricité et 1% des émissions de gaz à effets de serre relatives à la consommation d’énergie en 2022.

Par ailleurs, les scientifiques indiquent que la part des inférences dans la consommation globale d'un modèle peut varier grandement. Des scientifiques de Google l’estimaient à 60 % en 2022, contre 40 % uniquement lié à l’entraînement. Selon Amazon, en 2019, les inférences représentaient déjà jusqu’à 90 % de la demande en cloud computing par les clients d’AWS utilisant de l’apprentissage machine.

Généraliste vs spécialisé

En définitive, les scientifiques observent que des tâches de classification d’images ou de textes consomment en moyenne 10 fois moins d’énergie (entre 0,002 et 0,007 kWh pour 1 000 inférences) que de la génération ou du résumé de texte (autour de 0, 05 kWh pour 1 000 inférences). Les tâches multimodales, comme la génération d'images ou de leurs légendes, sont les plus coûteuses en énergie (entre 0,06 et 2,9 kWh pour 1 000 inférences).

De même, l’équipe constate « une relation entre la taille du modèle et la quantité d’émissions produites pour réaliser des inférences », celle-ci évoluant en fonction des spécificités de chaque modèle. De nouveau, les tâches text-to-image (génération d'images ou de leurs légendes) sont les plus émettrices.

Elle note, enfin, qu’utiliser de grands modèles de langages pour réaliser une tâche est beaucoup plus énergivore que de recourir à un modèle d’IA plus petit et plus spécialisé. Ainsi, utiliser un modèle généraliste pour trier des critiques de films selon qu’elles sont positives ou négatives demande trente fois plus d’énergie que le faire avec un modèle spécifiquement dédié à ce type de classification.