Connexion

Catégories

Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société

Nous Suivre

Contact rédaction Contact site Forum
Flux RSS GitHub Discord

À propos

Abonnez-vous

Sam Altman avoue que l’IA dépense trop d’énergie

Sam Altman avoue que l’IA dépense trop d’énergie

Le 19 janvier à 06h42

Lors d'une conférence organisée par Bloomberg à Davos, le PDG d'OpenAI, Sam Altman a avoué que l'intelligence artificielle consommera dans le futur beaucoup plus d'énergie que prévu, rapporte Reuters. En conséquence, sans une percée technologique en matière d'énergie, « il n'y a aucun moyen d'y parvenir » a-t-il expliqué.

Pour lui, la voie à suivre pour l'IA est d'utiliser de plus en plus le nucléaire et l'énergie solaire. Sam Altman espère aussi que la fusion nucléaire soit maîtrisée le plus rapidement possible. L'agence de presse signale qu'il a d'ailleurs investi lui-même dans la startup Helion Energy, qui a signé un contrat avec Microsoft, mais n'a pas encore produit d'électricité.

Si des chercheurs du Laboratoire national Lawrence Livermore ont réussi l'exploit de produire de 3,88 megajoules par fusion nucléaire pour 2 megajoules d’énergie envoyés par les lasers de leur expérience, ça ne correspond à peine qu'à 1,1 kWh (sachant que les lasers ont besoin d’une puissance de plusieurs centaines de mégajoules d’électricité pour fonctionner).

Le 19 janvier à 06h42

Commentaires (28)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar
En conséquence, sans une percée technologique en matière d'énergie, « il n'y a aucun moyen d'y parvenir » a-t-il expliqué.
Stable Diffusion tourne des GPU grand public type gaming sans difficultés et n'a pas vraiment à rougir face à DALL-E. Donc si, y'a un moyen d'y parvenir : optimiser son bousin.

Mais comme aujourd'hui on est dans la course à la feature et à l'adoption, au même titre que la sécurité, ce genre de chose passera au second plan. Mais bon, quand on voit que Azure n'a pas la capacité à fournir Azure OpenAI Services dans toutes ses régions par manque de GPU (dans le cas de l'Europe, le service n'est dispo que dans 3 régions sauf si ça a changé récemment), peut-être que ça motivera.
votre avatar
Stable Diffusion tourne des GPU grand public type gaming sans difficultés et n'a pas vraiment à rougir face à DALL-E. Donc si, y'a un moyen d'y parvenir : optimiser son bousin.
Pour utiliser le modèle oui, mais quid de son entraînement ?
votre avatar
On peut aussi entraîner un modèle dessus.
votre avatar
Le problème ce n'est pas de savoir que ca tourne avec du matériel accessible, c'est la quantité qu'il en faudrait. A vouloir intégrer de l'IA PARTOUT ! Avec des modèles qui se multiplient, forcément ca va gonfler a une vitesse...
votre avatar
+1, il suffit de voir le bousin copilot intégré à toute la suite office...
votre avatar
"Stable Diffusion tourne des GPU grand public type gaming sans difficultés et n'a pas vraiment à rougir face à DALL-E. Donc si, y'a un moyen d'y parvenir : optimiser son bousin."

Oui et non. Ou plutôt non. Tu as évidemment raison dans l'absolu l'optimisation joue énormément, mais dans une optique de mise à l'échelle vers une démocratisation totale, peu importe à quel point tu améliores la perf, ça reste un niveau d'inefficacité énergétique complètement débile.
votre avatar
Le gars est quand même super posé : On va droit dans le mur niveau conso d'énergie, a moins d'un miracle que tout le monde attend depuis 10 ans, mais c'est pas grave on avance plein gaz ! :fumer:
votre avatar
Ça sera la faute des autres, qui n'auront pas été capables de fournir l'énergie pour faire tourner son bidule :fumer:
votre avatar
Est-ce qu'on tient compte de l'énergie humaine économisée ? Car moins d'intelligence humaine utilisée = moins de besoin en nourriture = moins de consommation !
votre avatar
Faut demander à Robert. Mais j'ai peur qu'il ne soit pas serein de ce côté-là
votre avatar
Pas grave les Crypto-hypes ont défriché le chemin.
C'est trop trendy pour changer quoi que ce soit. Et on continuera à gueuler sur les automobilistes entre 2 week-ends à Londres ou depuis la banquette d'un Uber.
votre avatar
avoue admet
votre avatar
En conséquence, sans une percée technologique en matière d'énergie, « il n'y a aucun moyen d'y parvenir » a-t-il expliqué.
Ayons foi dans l'église du technosolutionnisme...
votre avatar
Apparemment, une solution, déjà appliquée, serait de rendre ces "machins" encore plus cons ...
votre avatar
Personne n'a pensé à demander à ChatGPT comment baisser la consommation d'énergie de l'IA ?
votre avatar
Ou bêtement les plans d'une centrale a fusion nucléaire avec un bon rendement
votre avatar
Il vaut mieux parler d'efficacité que de rendement. En réutilisant les technologies actuelles, l'efficacité thermodynamique d'une centrale à fusion ne sera beaucoup meilleure que celle d'une centrale à charbon, gaz ou autre.

Si on passe à des fluides caloporteurs à l'état supercritique ou à de la conversion d'énergie directe, c'est une toute autre histoire, qu'il faut écrire.
votre avatar
C'est tellement creux comme déclaration, ça à l'air d'être juste un appel du pied pour son investissement dans une start up de fusion. Aucun intérêt

Sam Altman n'a aucune expertise en énergie, il peut bien dire ce qu'il veut ça n'en deviens pas un fait. Le terme "avoue" est bien mal choisie. Il ne sait rien de plus que tout le monde. Par ailleurs, le titre est une déformation de son propos. À aucun moment il n'est dit que l'IA consommerait "trop". (par rapport à quoi ?)

La consommation des LLM n'est pas un problème écologique. Cela représente que dalle à l'échelle de la planète et on sait produire de l'électricité très faiblement carbonée (cf la france depuis 50 ans).
En conséquence, sans une percée technologique en matière d'énergie, « il n'y a aucun moyen d'y parvenir » a-t-il expliqué.
Parvenir à quoi ? On est déjà en train de vivre une période de révolution régulière des IA, sans avoir eu besoin d'une révolution énergétique. On voit d'ailleurs l'efficacité des modèles grandement s'améliorer tout les 3 mois.

AU vu des commentaires, encore beaucoup d'éco-alarmisme qui se soucie peu des faits.
Si des chercheurs du Laboratoire national Lawrence Livermore ont réussi l'exploit de produire de 3,88 megajoules par fusion nucléaire pour 2 megajoules d’énergie envoyés par les lasers de leur expérience, ça ne correspond à peine qu'à 1,1 kWh (sachant que les lasers ont besoin d’une puissance de plusieurs centaines de mégajoules d’électricité pour fonctionner).
Ce paragraphe a peu de sens. Si on produit plus d'électricité qu'on en nécessite pour fonctionner, peu importe qu'il en faille initialement. De plus, ce genre d'expérience n'a pas pour vocation à produire, juste à démontrer, la remarque sur les 1.1kWh n'a donc aucun intérêt. Enfin pourquoi systématiquement remettre en question les avancées techniques et scientifique ? Pourquoi ne pas plutôt remettre en question les déclarations farfelus de celui qui n'a aucune compétence sur le sujet ?
votre avatar
Je crois que le soucis pour les lasers c'est que pour qu'ils envoient 2 MJ, on dépense beaucoup plus que 2 MJ.... Donc s'ils avaient un rendement de 1:1 ça serait impec, mais ce n'est pas le cas.
votre avatar
Déjà avant de parler de fusion nucléaire, qui semble bien hypothétique avant une bonne cinquantaine d'année (ITER n'est qu'un démonstrateur pré-industriel qui ne fera ses premiers essais que vers 2030-2035 au mieux ), et bien on pourrait peut-être investir plus sur les réacteurs de Génération IV qui eux existent déjà depuis une bonne cinquantaine d'années, réacteurs qui fonctionnent déjà commercialement en Russie et en
Chine. Là, on aurait déjà plusieurs milliers d'années devant nous pour bosser sur la fusion...
votre avatar
Sinon question bête: une fois la phase d'apprentissage terminée, c'est bon on a le fichier généré une fois pour toute, y'a plus qu'à s'en servir ? Je connais pas tous les détails du Deep Learning process.
votre avatar
Comme il y a toujours des choses nouvelles à apprendre, il faut recommencer à chaque fois.
votre avatar
Tout depuis le départ ? :stress:

Bon je jouais un peu les Simplets ici...

Ma question étant plutôt: "qu'est ce qui est le plus énergivore ici:
"générer un modèle par de l'apprentissage profond ou bien l'utiliser ensuite ? "

Sans doute pas facile à trancher, car le modèle n'est généré que quelques fois quand son utilisation est utilisée (justement) de multiples fois...

J'ai l'impression que la réponse va être la même que celle que j'ai entendue de très nombreuses fois en MBA :

" It depends" (ayant même une tasse à café à côté de moi avec ces 2 mots gravés dessus comme cadeau de fin d'année scolaire. Priceless, ça paye les frais de scolarité... ou pas... :mdr2:

Bref...
votre avatar
Pour le moment, comme ils améliorent aussi leurs modèles, oui. Ça évoluera peut-être à un moment.
votre avatar
L'entraînement demande beaucoup plus de puissance que l'usage (même si là aussi c'est pas neutre). Et la nature même de GPT fait qu'il a besoin d'être régulièrement entraîné pour être remis à jour (le P). Après la balance pourrait s'inverser si l'usage de l'IA devient trop intensif je suppose.

D'ordre général, de mon expérience et de ma vision, un modèle doit être le plus possible entraîné sur de la donnée morte, immuable, que sur de la donnée vivante qui le rendrait obsolète dès sa finition. Ensuite, il devrait plutôt collecter la donnée vivante et la traiter lors d'un prompt.

Exemple d'un cas d'usage : un chatbot IT. L'entraîner sur les procédures de dépannage n'a aucun sens car elles peuvent évoluer dans le temps. Il vaut donc mieux qu'il les lise. Par contre, l'entraîner sur la base de connaissances de l'historique des incidents aurait plus de sens car cela lui donnerait matière à comprendre la nature du problème. Mais cet entraînement devrait être régulièrement refait pour intégrer des nouvelles données.

Après, plutôt qu'un méga modèle monolithique de la mort qui prend énormément de temps et de ressources pour être entraîné, je pense que l'approche des micro modèles spécialisés (ex : admettons que GitHub Copilot soit en fait une série de modèles pour chaque famille de langages, aujourd'hui c'est un GPT4) orchestrés par un principal pourrait être une approche plus intéressante. Le modèle orchestre n'a besoin que d'une chose : comprendre le prompt. A partir de là, il l'adresse ensuite au spécialisé qui est capable de répondre plus finement et d'aller chercher l'info qui viendrait à lui manquer de manière pertinente. Je n'ai aucune idée de si cela serait plus optimisé ou non, même si je me dis qu'un petit modèle spécialisé coûtera certainement moins cher à produire et utiliser. Un peu comme les Checkpoints et les LoRA côté Stable Diffusion qui se basent tous sur le Base Model de SD.
votre avatar
Merci pour avoir pris le temps de faire une réponse très claire et très détaillée (surtout un Vendredi soir)

:yes: :bravo:
votre avatar
Je t'en prie. J'ai pas la prétention d'être un expert absolu du domaine, mais l'expérience acquise sur leur usage et intégration ainsi que l'analyse des offres commerciales autour me laisse aujourd'hui conclure qu'entraîner est plus coûteux qu'utiliser. Et pour un usage client d'un modèle privé, entraîner n'est pas forcément une finalité absolue.

Chez Azure, l'usage d'un modèle GPT4-Turbo revient à 0.01$ pour 1000 tokens en entrée et 0.03$ pour 1000 tokens en retour. Sachant qu'on peut demander au modèle de limiter le nombre de tokens en réponse. L'entraînement pour du fine-tuning d'un GPT3.5 c'est 100$ de l'heure (vive les instances GPU).

Pour référence, 1000 tokens c'est environ 750 mots anglais. Mon précédent message fait 620 tokens d'après le calculateur d'OpenAI pour 316 mots français. Dans mes premiers tests d'intégration pour un chatbot, j'avais justement limité GPT-4 pour qu'il sorte 500 tokens, cela permettait des réponses concises.
votre avatar
D’ailleurs pour rebondir sur le sujet, je suis assez dérouté par les dernières annonces de Microsoft et Samsung/Qualcomm. Microsoft a dit récemment que pour son CoPilot dans Windows 12, ça sera 16Go de RAM mini, voire plutôt 32Go (ou même 64Go) comme base.
Pour les mobiles, discours similaire : en dessous de 16Go voire 24Go point de salut (mais combien de smartphones auront même 12Go de RAM en 2024 ?) et ça pour effectuer les traitements du NPU en local.

En local !? Quand les services Cloud ont explosé depuis 5 ans, que la 5G est quasi disponible partout (ou le sera en 2024 et la 4G+ c’est pas trop mal non plus), que la fibre à 200Mb/s, 500Mb/s (voire 1000Mb/s) est devenue une banalité ou une commodité maintenant. On arrive bien à faire facilement du Cloud Gaming en 1080p, 2,5K voire 4K. Google en est déjà à la génération 2 ou 3 de ses TPU bien plus efficace qu'un CPU ou même un NPU casé dans un coin du CPU.
Tout le monde n'a pas une RTX 4090 dans son desktop, encore moins dans son smartphone (la taille du radiateur du smartphone ! )

C’est quand même pas plus efficace d’envoyer des requêtes sur des ThreadRippers ou Xeons gonflés à la testostérone plutôt que d’avoir 16Go – 24Go sur son mobile qui ne serviront que « quelques fois » ? Et en plus tout bénef pour affiner les profils utilisateurs et collecter de l'info si tout est envoyé sur le Cloud...

Je me rappelle aussi d’un article du feu regretté David L. (mais pas toujours commode le garçon dans les commentaires) sur : « il est plus efficace d’exécuter une tache rapidement sur un processeur qui consomme beaucoup plutôt que sur un processeur qui lui va consommer peu mais va mettre un « siècle » pour arriver au même résultat.»

Bref, j’ai un peu de mal à comprendre en 2024 le retour à faire ça en local, juste avec nos petits moyens techniques comparé aux grands acteurs qui ne jouent pas du tout dans la même catégorie avec une puissance de feu très très largement supérieure.

:reflechis::keskidit:

Sam Altman avoue que l’IA dépense trop d’énergie

Fermer