Difficile évaluation du coût environnemental et financier de l’utilisation des grands modèles de langage
Des perroquets pas si efficaces
Les grands modèles de langage sont actuellement très prisés des multinationales du numérique. Aucune ne présente son futur sans le faire reposer sur les modèles d'Intelligence artificielle popularisés par OpenAI et son ChatGPT. Mais faire tourner ces modèles a un coût énergétique, donc financier et écologique. S'il est difficile de l'évaluer, des signes montrent qu'il est loin d'être négligeable.
Malgré les signaux d'alarmes lancés par des chercheurs et chercheuses du domaine, l'industrie du numérique s'est massivement tournée, en suivant OpenAI et son ChatGPT, vers ce qu'elle a nommé l'IA générative pour proposer des nouveaux services accélérant de façon considérable la production de contenus, que ça soit des images, des vidéos ou des textes.
En termes de vitesse de création de contenus, les grands modèles de langage et ce qu'on nomme maintenant plus largement les « modèles de fondation » sont diablement efficaces et OpenAI, Google, Midjourney et leurs concurrents n'ont de cesse de le démontrer avec des outils dépassants ce qui existait il y a quelques mois seulement.
Si leur pari est d'attirer des fonds, l'énergie utilisée pour entraîner et utiliser ces IA paraît importante, même si elle est difficile à évaluer. Et ce point est très important pour comprendre les enjeux économiques et environnementaux.
Un intérêt à ne pas trop en dire
L'information sur le sujet est difficile à trouver. D'une part, économiquement, ces entreprises n'ont pas forcément intérêt à être transparentes. D'autre part, une bonne partie de la recherche dans ces champs est soit directement produite par leurs équipes, soit financée par ces entreprises.
Or ces dernières ont tout intérêt à financer des recherches sur l'amélioration des performances visibles plutôt que sur les potentielles failles dans leurs modèles économiques et les coûts environnementaux de ces nouveaux outils. On peut rappeler l'affaire du licenciement de Timnit Gebru puis de Margaret Mitchell autour de la publication de leur article sur les dangers des modèles de langage.
Il faut dire aussi que l'état de l'art change très rapidement : de nouveaux modèles ou de nouvelles versions sont publiés toutes les semaines, alors que l'évaluation, elle, prend un certain temps.
Des signes d'un coût financier important
Mais des signes montrent quand même que les coûts d'entraînement et d'utilisations sont des enjeux à part entière. Si ce n'était pas le cas, dans la version gratuite de ChatGPT, OpenAI aurait pu rapidement remplacer la version 3.5 de son modèle de langage (entraîné sur des données datant de juin 2021) par GPT-4, pour rester le leader incontesté. Par ailleurs, même la version payante de ChatGPT, qui permet d'utiliser la version 4 du modèle, est limitée en nombre de textes produit par utilisateur.
Le Washington Post rapporte que Dylan Patel, de l'entreprise de recherche sur les semi-conducteurs SemiAnalysis, « a estimé qu'une simple conversation avec ChatGPT pouvait coûter jusqu'à 1 000 fois plus cher qu'une simple recherche sur Google. »
Un autre signe du coût de fonctionnement de ces IA est l'explosion du cours de Nvidia. Ces machines ont besoin de GPU pour tourner et le leader du marché prévoit de vendre 11 milliards de dollars de nouvelles puces au deuxième trimestre de cette année, soit 4 milliards de dollars de plus que ce qu'attendaient les analystes de Wall Street.
Pour l'entraînement, le Human-Centered Artificial Intelligence de l'Université de Stanford a publié une analyse comparative de son coût suivant les différents modèles : de 230 000 dollars pour Dall-E à plus de 11 millions pour le Megatron-Turing Natural Language Generation de Nvidia.
Un coût environnemental significatif
Si le coût financier de ces IA est difficile à connaître, l'estimation de leur coût environnemental est un casse-tête, comme souvent dans le numérique.
La chercheuse Sacha Luccioni de HuggingFace, qui travaille sur le sujet, a récemment mis en ligne un article scientifique [PDF] (écrit en collaboration avec Sylvain Viguier de Graphcore et Anne-Laure Ligozat de l'Université Paris-Saclay) évaluant les émissions de CO2 du grand modèle de langage BLOOM (qui est l'un des seuls à respecter les critères de l'open science). Dans celui-ci, une comparaison est faite entre les entrainements de quatre modèles de langage : GPT-3, Gopher (de DeepMind), OPT (de META) et BLOOM.
Luccioni explique dans un article publié sur ArsTechnica qu' « en fonction de la source d'énergie utilisée pour la formation et de son intensité en carbone, la formation d'un LLM de l'ère 2022 émet au moins 25 tonnes métriques d'équivalents carbone si vous utilisez des énergies renouvelables, comme nous l'avons fait pour le modèle BLOOM. Si vous utilisez des sources d'énergie à forte intensité de carbone comme le charbon et le gaz naturel, ce qui était le cas pour le GPT-3, ce chiffre monte rapidement à 500 tonnes métriques d'émissions de carbone, ce qui équivaut à plus d'un million de kilomètres parcourus par une voiture moyenne à essence ».
Et encore, ces estimations ne prennent pas en compte la fabrication du matériel pour les entraîner.
Quant à leur fonctionnement après entraînement, il ne semble pas y avoir encore d'estimation permettant de savoir quel est son coût environnemental. La chercheuse se lamente : « Il est difficile d'estimer la quantité exacte d'émissions qui en résulte, étant donné le secret et le manque de transparence qui entourent ces grands LLM. »
Commentaires (13)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 08/06/2023 à 19h04
Article intéressant, mais il manque énormément de contexte, au moins sur le côté environnemental :
1/ 552 teqCO₂, ça veut dire quoi ? Est-ce beaucoup ou pas ?
En Europe on compte ~10 teqCO₂ par personne et par an. La cible donnée pour 2050 est de 2 teqCO₂ par an et par personne.
Donc 552 tonnes, c’est pas grand chose pour un projet qui a déjà changé pas mal de choses dans le monde. C’est équivalent à la prod de 50 européens. C’est rien. Surtout que…
2/ Les réseaux neuronaux fonctionnent de telle manière qu’il est extrêmement coûteux d’entraîner un modèle (pour ceux à qui ça parle, il me semble que c’est un problème en O(n!), un truc de fou), mais l’utiliser l’est beaucoup moins. Pour donner la différence, c’est si lors d’une course de voiture dans le Sahara, vous deviez auparavant ratisser correctement le désert à la main pour avantager votre voiture, versus faire la course.
Il me semblerait pas disproportionné que le facteur de différence entre l’entraînement et l’usage soit de l’ordre du milliardième, voir au delà. Mais bien sûr, il y a des milliards de gens qui requètent ces modèles du coup, c’est quand même une grande conso. Mais…
3/ Ils apportent des gains. De productivité, de temps, de… Bref, il faut mettre en balance la conso vs. ce qu’on évite en conso. Par exemple, le streaming consomme de l’électricité. Mais avant, on avait les vidéos club, où on louait des DVD. Donc des produits plastiques, qu’on allait chercher en brûlant de l’essence, dans un magasin physique. Le gain au final est sans commune mesure.
Est-ce que ces modèles sont bénéfiques au final ? Je sais pas, c’est une question complexe, surtout que là, on n’est qu’au début de ces outils.
4/ Au passage, y’avait hier dans le Canard un article qui disait qu’un demi litre d’eau était consommé toutes les 20 requêtes de ChatGPT.
J’en profite pour dire que c’est n’importe quoi : l’eau n’a pas disparue. Elle a juste été utilisé comme caloporteur pendant un temps. Bref, c’est du bullshit.
Si on est taquin, on peut également calculé que le Canard Enchaîné consomme 3 500 000 L d’eau. Par semaine. Juste pour la fabrication du papier…
(500 L par kg de papier. 280 000 exemplaires chaque semaine. Grammage estimé à 50 g/m². Deux feuillet A2 par exemplaire, et donc 25 g par exemplaire. Donc 12.5 L par exemplaire)
Le 08/06/2023 à 21h16
Pour le point 4,ce n’est pas n’importe quoi si le data center utilise un refroidissement adiabatique (procédé courant dans les datacenter) . Le principe est d’utiliser l’évaporation de l’eau pour absorber l’énergie calorifique. Ça a l’avantage de consommer beaucoup moins d’électricité que la climatisation, mais de consommer beaucoup d’eau.
Le 08/06/2023 à 22h10
Sauf que l’eau reste de l’eau :)
Oui, elle peut passer de l’état liquide à l’état gazeux, mais elle n’est pas polluée, transformée ou quoi que ce soit.
Je dis pas que c’est un critère important, en général. Il faut regarder au cas par cas : est-ce que l’eau utilisée vient d’une source locale, ou d’un bassin de rétention construit à cet effet ? Est-ce que l’eau est rendue potable avant son utilisation, est-ce que la consommation est compatible avec le climat local, etc.
Mais on peut pas dire “c’est horrible, ça consomme x litres toutes les heures” sans avoir de contexte. Par exemple, s’il s’agit d’eau de mer, pour un DC en Islande, ça pose pas de problème :)
Le 09/06/2023 à 06h29
Sauf qu’il n’y a pas d’eau rendue. Elle est évaporée, elle s’en va dans l’air et devient des nuages. Donc au sens de ressource, elle est perdu.
Le 09/06/2023 à 10h28
Exact. Et la vapeur d’eau est un gaz à effet de serre.
Et même lorsque l’eau est rendue à l’état liquide, ce n’est pas à température ambiante. L’inconvénient existe pour tout système de pompe à chaleur. Bref, c’est écologique parce qu’on évite les dépenses énergétiques, mais on monopolise quand même une ressource qu’on rendra finalement dans un état différent qu’initialement au milieu naturel.
Le 09/06/2023 à 10h48
Sauf que le cycle de l’eau est un cycle fermé : a un moment, cette eau va tomber sous forme de pluie. Donc toujours utilisable sous forme de ressource. Cette eau ne disparaît pas, comme pourrait l’être du charbon qui brûle, ou du bois dont on aurait fait du papier.
Oui, la problématique de où l’eau s’évapore et où elle retombe en pluie existe. Mais sortis de tout contexte, c’est inintéressant de dire qu’un DC consomme X litres d’eau. Parce que c’est le contexte qui va dire si c’est beaucoup ou peu.
Le 09/06/2023 à 11h07
Oui, il faut expliquer le contexte et être prudent dans sa façon de décrire les choses. Ça évite les slogans et les idées simplistes. C’est pareil quand on vante les mérites d’une pompe à chaleur, qu’on explique le cycle de l’eau (et les implications de la vapeur d’eau dans le réchauffement climatique) ou qu’on explique ce que sait faire ChatGPT. Et je ne parle pas du papier qu’on a mis à toutes les sauces pour justifier la numérisation des documents administratifs ou le paiement par prélèvement automatique (versus le paiement par chèque ou espèces). Bref, le numérique n’est pas spécialement écologique.
Le 09/06/2023 à 12h10
C’est pourtant la même problématique qui entoure les méga-bassines. Cette eau liquide en grande quantité est accaparée par certains pour leur besoins propres (datacenter, agriculture intensive, etc.) et n’est donc plus disponible pour les autres (personne ne boit de la vapeur d’eau).
Le 09/06/2023 à 15h10
Sauf que 1/ la vapeur d’eau est que dans le cas des DC avec refroidissement adiabatique. Dans la plupart des cas, aujourd’hui, c’est une eau rendu quasi instantanément (dans l’heure), juste avec quelques degrés de plus. Donc oui, c’est encore disponible pour les autres. Et 2/ Bah il suffit de mettre un condenseur, et tu peux la boire. Ou t’attend la pluie.
Tu peux aussi avoir des DC au fil de l’eau qui prenne de l’eau d’une rivière, s’en sert pour se refroidir, et la remet dans la rivière.
Bref, c’est pas de l’eau “gâchée”.
Je ne suis prosélyte de rien du tout, je pointais du doigt que certains chiffres ne veulent strictement rien dire hors contexte.
Un DC qui pompe l’eau d’un lac pour se refroidir et remet l’eau utilisée dans le même lac ne va rien changer à l’écosystème, et l’eau est toujours dispo pour les autres. (Tu vas me parler température, mais si le DC pompe un centième du volume, et augmente de dix degrés cette eau, le lac au final ne va prendre que 0.1 C. Keud.)
D’où l’importance du contexte. Le DC qui fonctionne en cycle fermé avec un lac peut consommer autant qu’il veut (tant que c’est très inférieur au volume du lac), tandis qu’un DC dans le Sahara ne pourra pas consommer n’importe comment.
Tout ça pour dire ⇒ Un litre consommé à un endroit n’a pas la même valeur qu’à un autre endroit. Et donc parler que du volume d’eau n’a aucun intérêt.
Bien sûr. Mais en même temps, le rendement sur silicium augmente. Est-ce que ça va s’équilibrer ?
Bref, on en sait rien, et j’ai jamais dit le contraire. Je ne prévois pas le futur, je parle du présent.
Oui, et ?
La fabrication physique d’un objet est largement plus coûteuse que tout ce qui est numérique. Avoir un DC qui remplace 10 000 vidéos clubs est largement plus rentable.
Parce que quand tu construisais ta boutique pour le millier de clients alentours et que donc son coût CO₂ sera répartis entre ce millier de personnes, pour un DC qui regroupe 10 000 vidéos clubs, son coût CO₂ sera réparti sur les 10 millions d’utilisateurs. C’est une économie d’échelle.
Certes. Mais 1/ personne ne les avais oubliés. C’est juste que c’était pas le sujet, et 2/ la question n’est pas le CO₂, mais l’eqCO₂. La différence est très grande parce que ça compte tout ce qui génère du réchauffement climatique, pas juste du CO₂.
C’est la question en effet. C’est une question de société. Si c’est IA permettent de multiplier par 10 la productivité pour un coût environnemental faible (rappel, l’équivalent de 50 européens par an, c’est à dire rien), est-ce que ça vaut le coup ?
J’en sais rien. Et je sais même pas si ça permet d’augmenter la productivité des gens.
C’est toute la question que j’évoquais dans mon point 3/
Le 09/06/2023 à 05h37
Pan sur le bec du canard ! ;)
Belle démonstration.
Le 09/06/2023 à 06h26
Le 09/06/2023 à 11h08
Et non seulement ça mais en plus…
Bref, @cquoicebordel, c’est bien gentil d’être en mode prosélyte de l’extrême sur l’IA (si ça te fait kiffer, chacun ses chimères après tout), mais quand on critique une méthodologie pour manque d’approfondissement, il est pertinent de faire gaffe à la sienne propre.
Par exemple tu ne penses même pas à prendre en considération…
Dans tes points 1 et 2, la mise à l’échelle future. Si la dynamique continue les usages vont exploser, donc l’offre va suivre. Dans quelle mesure là est toute la question.
On peut noter également que les coûts indirects si je comprends bien ne sont pas pris en compte : forcément plus coûteux de faire transiter des connaissances sur le réseau général qu’avec un proxy “à proximité de la destination”. Or, s’il est facile d’organiser un réseau de distribution “au plus proche” pour des contenus de type produits culturels (achevés et stables donc prévisibles en terme de demande et reproductibles de manière fiable), pour une IA dont le principe même est qu’elle ajuste sa réponse à chaque question, la proportion de “contenus réutilisables” sera à priori dérisoire en proportion du total.
Donc le coût total de l’IA doit être celui de la production et l’entretien des machines, celui de l’entraînement de l’IA, mais également celui des échanges utilisateurs du serveur jusqu’à la machine client.
Enfin sur le point des ressources notons que si je comprends bien le rapport s’est concentré sur le CO² mais il y a aussi tout ce qui a trait à l’extraction des matériaux requis pour la construction des serveurs, refroidissement et bâtiments hôtes. Qui sont presque aussi graves que le dégagement de CO², mais moins médiatisés histoire qu’on se laisse croire qu’il y a une autre solution que la réduction de nos usages et consommations.
Bref, le jeu en vaut-il la chandelle ? Sachant que dans 30 ans grand max on va courir après les ressources de tout type et que matériellement au niveau non gouvernemental on va se manger une sévère réduction du niveau technologique sauf à avoir vraiment les moyens à titre individuel ? Le sujet n’est peut-être pas si complexe que ça… xd
Le 09/06/2023 à 15h08
Ou à 50 ans d’une vie d’apprentissage.
Il reste à évaluer le coût à l’utilisation pour savoir si c’est rentable, mais niveau apprentissage, ça me paraît rentable face à des humains (mais difficile de dire qu’il faut arrêter de produire des humains, c’est mal vu)