Publié dans IA et algorithmes

28

Sam Altman avoue que l’IA dépense trop d’énergie

consommation de l'ia

Lors d'une conférence organisée par Bloomberg à Davos, le PDG d'OpenAI, Sam Altman a avoué que l'intelligence artificielle consommera dans le futur beaucoup plus d'énergie que prévu, rapporte Reuters. En conséquence, sans une percée technologique en matière d'énergie, « il n'y a aucun moyen d'y parvenir » a-t-il expliqué.

Pour lui, la voie à suivre pour l'IA est d'utiliser de plus en plus le nucléaire et l'énergie solaire. Sam Altman espère aussi que la fusion nucléaire soit maîtrisée le plus rapidement possible. L'agence de presse signale qu'il a d'ailleurs investi lui-même dans la startup Helion Energy, qui a signé un contrat avec Microsoft, mais n'a pas encore produit d'électricité.

Si des chercheurs du Laboratoire national Lawrence Livermore ont réussi l'exploit de produire de 3,88 megajoules par fusion nucléaire pour 2 megajoules d’énergie envoyés par les lasers de leur expérience, ça ne correspond à peine qu'à 1,1 kWh (sachant que les lasers ont besoin d’une puissance de plusieurs centaines de mégajoules d’électricité pour fonctionner).

28

Tiens, en parlant de ça :

Spécialiste des signalements, Point de Contact s’apprête à déposer le bilan

Silence éloquent

17:49 SocialsSociété 4
Façade du bâtiment du New York Times

OpenAI contre-attaque et accuse le New York Times d’avoir « hacké » ses produits

16:27 DroitIA 3
Photo de la Maison-Blanche

Chine, Russie… Joe Biden veut interdire l’envoi de données sensibles américaines à six pays

Fort de roquefort

15:30 DroitSécu 2
Le brief de ce matin n'est pas encore là

Partez acheter vos croissants
Et faites chauffer votre bouilloire,
Le brief arrive dans un instant,
Tout frais du matin, gardez espoir.

28

Commentaires (28)


SebGF Abonné
Le 19/01/2024 à 07h 34
> En conséquence, sans une percée technologique en matière d'énergie, « il n'y a aucun moyen d'y parvenir » a-t-il expliqué.

Stable Diffusion tourne des GPU grand public type gaming sans difficultés et n'a pas vraiment à rougir face à DALL-E. Donc si, y'a un moyen d'y parvenir : optimiser son bousin.

Mais comme aujourd'hui on est dans la course à la feature et à l'adoption, au même titre que la sécurité, ce genre de chose passera au second plan. Mais bon, quand on voit que Azure n'a pas la capacité à fournir Azure OpenAI Services dans toutes ses régions par manque de GPU (dans le cas de l'Europe, le service n'est dispo que dans 3 régions sauf si ça a changé récemment), peut-être que ça motivera.
sam.dis Abonné
Le 19/01/2024 à 07h 59
> Stable Diffusion tourne des GPU grand public type gaming sans difficultés et n'a pas vraiment à rougir face à DALL-E. Donc si, y'a un moyen d'y parvenir : optimiser son bousin.

Pour utiliser le modèle oui, mais quid de son entraînement ?
SebGF Abonné
Le 19/01/2024 à 11h 32

sam.dis

> Stable Diffusion tourne des GPU grand public type gaming sans difficultés et n'a pas vraiment à rougir face à DALL-E. Donc si, y'a un moyen d'y parvenir : optimiser son bousin.

Pour utiliser le modèle oui, mais quid de son entraînement ?
On peut aussi entraîner un modèle dessus.
dvr-x Abonné
Le 19/01/2024 à 08h 26
Le problème ce n'est pas de savoir que ca tourne avec du matériel accessible, c'est la quantité qu'il en faudrait. A vouloir intégrer de l'IA PARTOUT ! Avec des modèles qui se multiplient, forcément ca va gonfler a une vitesse...
Burn2 Abonné
Le 19/01/2024 à 09h 35

dvr-x

Le problème ce n'est pas de savoir que ca tourne avec du matériel accessible, c'est la quantité qu'il en faudrait. A vouloir intégrer de l'IA PARTOUT ! Avec des modèles qui se multiplient, forcément ca va gonfler a une vitesse...
+1, il suffit de voir le bousin copilot intégré à toute la suite office...
Citan666 Abonné
Le 19/01/2024 à 13h 37
"Stable Diffusion tourne des GPU grand public type gaming sans difficultés et n'a pas vraiment à rougir face à DALL-E. Donc si, y'a un moyen d'y parvenir : optimiser son bousin."

Oui et non. Ou plutôt non. Tu as évidemment raison dans l'absolu l'optimisation joue énormément, mais dans une optique de mise à l'échelle vers une démocratisation totale, peu importe à quel point tu améliores la perf, ça reste un niveau d'inefficacité énergétique complètement débile.
Modifié le 19/01/2024 à 13h37
dvr-x Abonné
Le 19/01/2024 à 08h 29
Le gars est quand même super posé : On va droit dans le mur niveau conso d'énergie, a moins d'un miracle que tout le monde attend depuis 10 ans, mais c'est pas grave on avance plein gaz ! :fumer:
Jarodd Abonné
Le 19/01/2024 à 08h 37
Ça sera la faute des autres, qui n'auront pas été capables de fournir l'énergie pour faire tourner son bidule :fumer:
eglyn Abonné
Le 19/01/2024 à 08h 51
Est-ce qu'on tient compte de l'énergie humaine économisée ? Car moins d'intelligence humaine utilisée = moins de besoin en nourriture = moins de consommation !
Le 19/01/2024 à 09h 03
Faut demander à Robert. Mais j'ai peur qu'il ne soit pas serein de ce côté-là
Le 19/01/2024 à 09h 03
Pas grave les Crypto-hypes ont défriché le chemin.
C'est trop trendy pour changer quoi que ce soit. Et on continuera à gueuler sur les automobilistes entre 2 week-ends à Londres ou depuis la banquette d'un Uber.
Le 19/01/2024 à 09h 13
avoue admet
Le 19/01/2024 à 09h 27
> En conséquence, sans une percée technologique en matière d'énergie, « il n'y a aucun moyen d'y parvenir » a-t-il expliqué.

Ayons foi dans l'église du technosolutionnisme...

Le 19/01/2024 à 09h 30
Apparemment, une solution, déjà appliquée, serait de rendre ces "machins" encore plus cons ...
alex.d. Abonné
Le 19/01/2024 à 10h 21
Personne n'a pensé à demander à ChatGPT comment baisser la consommation d'énergie de l'IA ?
Dj Abonné
Le 19/01/2024 à 10h 37
Ou bêtement les plans d'une centrale a fusion nucléaire avec un bon rendement
Ferrex Abonné
Le 19/01/2024 à 15h 28

Dj

Ou bêtement les plans d'une centrale a fusion nucléaire avec un bon rendement
Il vaut mieux parler d'efficacité que de rendement. En réutilisant les technologies actuelles, l'efficacité thermodynamique d'une centrale à fusion ne sera beaucoup meilleure que celle d'une centrale à charbon, gaz ou autre.

Si on passe à des fluides caloporteurs à l'état supercritique ou à de la conversion d'énergie directe, c'est une toute autre histoire, qu'il faut écrire.
Le 19/01/2024 à 14h 05
C'est tellement creux comme déclaration, ça à l'air d'être juste un appel du pied pour son investissement dans une start up de fusion. Aucun intérêt

Sam Altman n'a aucune expertise en énergie, il peut bien dire ce qu'il veut ça n'en deviens pas un fait. Le terme "avoue" est bien mal choisie. Il ne sait rien de plus que tout le monde. Par ailleurs, le titre est une déformation de son propos. À aucun moment il n'est dit que l'IA consommerait "trop". (par rapport à quoi ?)

La consommation des LLM n'est pas un problème écologique. Cela représente que dalle à l'échelle de la planète et on sait produire de l'électricité très faiblement carbonée (cf la france depuis 50 ans).

>En conséquence, sans une percée technologique en matière d'énergie, « il n'y a aucun moyen d'y parvenir » a-t-il expliqué.

Parvenir à quoi ? On est déjà en train de vivre une période de révolution régulière des IA, sans avoir eu besoin d'une révolution énergétique. On voit d'ailleurs l'efficacité des modèles grandement s'améliorer tout les 3 mois.

AU vu des commentaires, encore beaucoup d'éco-alarmisme qui se soucie peu des faits.

>Si des chercheurs du Laboratoire national Lawrence Livermore ont réussi l'exploit de produire de 3,88 megajoules par fusion nucléaire pour 2 megajoules d’énergie envoyés par les lasers de leur expérience, ça ne correspond à peine qu'à 1,1 kWh (sachant que les lasers ont besoin d’une puissance de plusieurs centaines de mégajoules d’électricité pour fonctionner).

Ce paragraphe a peu de sens. Si on produit plus d'électricité qu'on en nécessite pour fonctionner, peu importe qu'il en faille initialement. De plus, ce genre d'expérience n'a pas pour vocation à produire, juste à démontrer, la remarque sur les 1.1kWh n'a donc aucun intérêt. Enfin pourquoi systématiquement remettre en question les avancées techniques et scientifique ? Pourquoi ne pas plutôt remettre en question les déclarations farfelus de celui qui n'a aucune compétence sur le sujet ?
xlp Abonné
Le 19/01/2024 à 16h 21
Je crois que le soucis pour les lasers c'est que pour qu'ils envoient 2 MJ, on dépense beaucoup plus que 2 MJ.... Donc s'ils avaient un rendement de 1:1 ça serait impec, mais ce n'est pas le cas.
Erwan123 Abonné
Le 19/01/2024 à 15h 51
Déjà avant de parler de fusion nucléaire, qui semble bien hypothétique avant une bonne cinquantaine d'année (ITER n'est qu'un démonstrateur pré-industriel qui ne fera ses premiers essais que vers 2030-2035 au mieux ), et bien on pourrait peut-être investir plus sur les réacteurs de Génération IV qui eux existent déjà depuis une bonne cinquantaine d'années, réacteurs qui fonctionnent déjà commercialement en Russie et en
Chine. Là, on aurait déjà plusieurs milliers d'années devant nous pour bosser sur la fusion...
Erwan123 Abonné
Le 19/01/2024 à 15h 58
Sinon question bête: une fois la phase d'apprentissage terminée, c'est bon on a le fichier généré une fois pour toute, y'a plus qu'à s'en servir ? Je connais pas tous les détails du Deep Learning process.
fred42 Abonné
Le 19/01/2024 à 16h 04
Comme il y a toujours des choses nouvelles à apprendre, il faut recommencer à chaque fois.
Erwan123 Abonné
Le 19/01/2024 à 16h 44

fred42

Comme il y a toujours des choses nouvelles à apprendre, il faut recommencer à chaque fois.
Tout depuis le départ ? :stress:

Bon je jouais un peu les Simplets ici...

Ma question étant plutôt: "qu'est ce qui est le plus énergivore ici:
"générer un modèle par de l'apprentissage profond ou bien l'utiliser ensuite ? "

Sans doute pas facile à trancher, car le modèle n'est généré que quelques fois quand son utilisation est utilisée (justement) de multiples fois...

J'ai l'impression que la réponse va être la même que celle que j'ai entendue de très nombreuses fois en MBA :

" It depends" (ayant même une tasse à café à côté de moi avec ces 2 mots gravés dessus comme cadeau de fin d'année scolaire. Priceless, ça paye les frais de scolarité... ou pas... :mdr2:

Bref...
Modifié le 19/01/2024 à 18h04
fred42 Abonné
Le 19/01/2024 à 17h 13

Erwan123

Tout depuis le départ ? :stress:

Bon je jouais un peu les Simplets ici...

Ma question étant plutôt: "qu'est ce qui est le plus énergivore ici:
"générer un modèle par de l'apprentissage profond ou bien l'utiliser ensuite ? "

Sans doute pas facile à trancher, car le modèle n'est généré que quelques fois quand son utilisation est utilisée (justement) de multiples fois...

J'ai l'impression que la réponse va être la même que celle que j'ai entendue de très nombreuses fois en MBA :

" It depends" (ayant même une tasse à café à côté de moi avec ces 2 mots gravés dessus comme cadeau de fin d'année scolaire. Priceless, ça paye les frais de scolarité... ou pas... :mdr2:

Bref...
Pour le moment, comme ils améliorent aussi leurs modèles, oui. Ça évoluera peut-être à un moment.
SebGF Abonné
Le 19/01/2024 à 18h 15

Erwan123

Tout depuis le départ ? :stress:

Bon je jouais un peu les Simplets ici...

Ma question étant plutôt: "qu'est ce qui est le plus énergivore ici:
"générer un modèle par de l'apprentissage profond ou bien l'utiliser ensuite ? "

Sans doute pas facile à trancher, car le modèle n'est généré que quelques fois quand son utilisation est utilisée (justement) de multiples fois...

J'ai l'impression que la réponse va être la même que celle que j'ai entendue de très nombreuses fois en MBA :

" It depends" (ayant même une tasse à café à côté de moi avec ces 2 mots gravés dessus comme cadeau de fin d'année scolaire. Priceless, ça paye les frais de scolarité... ou pas... :mdr2:

Bref...
L'entraînement demande beaucoup plus de puissance que l'usage (même si là aussi c'est pas neutre). Et la nature même de GPT fait qu'il a besoin d'être régulièrement entraîné pour être remis à jour (le P). Après la balance pourrait s'inverser si l'usage de l'IA devient trop intensif je suppose.

D'ordre général, de mon expérience et de ma vision, un modèle doit être le plus possible entraîné sur de la donnée morte, immuable, que sur de la donnée vivante qui le rendrait obsolète dès sa finition. Ensuite, il devrait plutôt collecter la donnée vivante et la traiter lors d'un prompt.

Exemple d'un cas d'usage : un chatbot IT. L'entraîner sur les procédures de dépannage n'a aucun sens car elles peuvent évoluer dans le temps. Il vaut donc mieux qu'il les lise. Par contre, l'entraîner sur la base de connaissances de l'historique des incidents aurait plus de sens car cela lui donnerait matière à comprendre la nature du problème. Mais cet entraînement devrait être régulièrement refait pour intégrer des nouvelles données.

Après, plutôt qu'un méga modèle monolithique de la mort qui prend énormément de temps et de ressources pour être entraîné, je pense que l'approche des micro modèles spécialisés (ex : admettons que GitHub Copilot soit en fait une série de modèles pour chaque famille de langages, aujourd'hui c'est un GPT4) orchestrés par un principal pourrait être une approche plus intéressante. Le modèle orchestre n'a besoin que d'une chose : comprendre le prompt. A partir de là, il l'adresse ensuite au spécialisé qui est capable de répondre plus finement et d'aller chercher l'info qui viendrait à lui manquer de manière pertinente. Je n'ai aucune idée de si cela serait plus optimisé ou non, même si je me dis qu'un petit modèle spécialisé coûtera certainement moins cher à produire et utiliser. Un peu comme les Checkpoints et les LoRA côté Stable Diffusion qui se basent tous sur le Base Model de SD.
Erwan123 Abonné
Le 19/01/2024 à 21h 13

SebGF

L'entraînement demande beaucoup plus de puissance que l'usage (même si là aussi c'est pas neutre). Et la nature même de GPT fait qu'il a besoin d'être régulièrement entraîné pour être remis à jour (le P). Après la balance pourrait s'inverser si l'usage de l'IA devient trop intensif je suppose.

D'ordre général, de mon expérience et de ma vision, un modèle doit être le plus possible entraîné sur de la donnée morte, immuable, que sur de la donnée vivante qui le rendrait obsolète dès sa finition. Ensuite, il devrait plutôt collecter la donnée vivante et la traiter lors d'un prompt.

Exemple d'un cas d'usage : un chatbot IT. L'entraîner sur les procédures de dépannage n'a aucun sens car elles peuvent évoluer dans le temps. Il vaut donc mieux qu'il les lise. Par contre, l'entraîner sur la base de connaissances de l'historique des incidents aurait plus de sens car cela lui donnerait matière à comprendre la nature du problème. Mais cet entraînement devrait être régulièrement refait pour intégrer des nouvelles données.

Après, plutôt qu'un méga modèle monolithique de la mort qui prend énormément de temps et de ressources pour être entraîné, je pense que l'approche des micro modèles spécialisés (ex : admettons que GitHub Copilot soit en fait une série de modèles pour chaque famille de langages, aujourd'hui c'est un GPT4) orchestrés par un principal pourrait être une approche plus intéressante. Le modèle orchestre n'a besoin que d'une chose : comprendre le prompt. A partir de là, il l'adresse ensuite au spécialisé qui est capable de répondre plus finement et d'aller chercher l'info qui viendrait à lui manquer de manière pertinente. Je n'ai aucune idée de si cela serait plus optimisé ou non, même si je me dis qu'un petit modèle spécialisé coûtera certainement moins cher à produire et utiliser. Un peu comme les Checkpoints et les LoRA côté Stable Diffusion qui se basent tous sur le Base Model de SD.
Merci pour avoir pris le temps de faire une réponse très claire et très détaillée (surtout un Vendredi soir)

:yes: :bravo:
SebGF Abonné
Le 20/01/2024 à 11h 29

Erwan123

Merci pour avoir pris le temps de faire une réponse très claire et très détaillée (surtout un Vendredi soir)

:yes: :bravo:
Je t'en prie. J'ai pas la prétention d'être un expert absolu du domaine, mais l'expérience acquise sur leur usage et intégration ainsi que l'analyse des offres commerciales autour me laisse aujourd'hui conclure qu'entraîner est plus coûteux qu'utiliser. Et pour un usage client d'un modèle privé, entraîner n'est pas forcément une finalité absolue.

Chez Azure, l'usage d'un modèle GPT4-Turbo revient à 0.01$ pour 1000 tokens en entrée et 0.03$ pour 1000 tokens en retour. Sachant qu'on peut demander au modèle de limiter le nombre de tokens en réponse. L'entraînement pour du fine-tuning d'un GPT3.5 c'est 100$ de l'heure (vive les instances GPU).

Pour référence, 1000 tokens c'est environ 750 mots anglais. Mon précédent message fait 620 tokens d'après le calculateur d'OpenAI pour 316 mots français. Dans mes premiers tests d'intégration pour un chatbot, j'avais justement limité GPT-4 pour qu'il sorte 500 tokens, cela permettait des réponses concises.
Modifié le 20/01/2024 à 11h31
Erwan123 Abonné
Le 20/01/2024 à 16h 47

SebGF

Je t'en prie. J'ai pas la prétention d'être un expert absolu du domaine, mais l'expérience acquise sur leur usage et intégration ainsi que l'analyse des offres commerciales autour me laisse aujourd'hui conclure qu'entraîner est plus coûteux qu'utiliser. Et pour un usage client d'un modèle privé, entraîner n'est pas forcément une finalité absolue.

Chez Azure, l'usage d'un modèle GPT4-Turbo revient à 0.01$ pour 1000 tokens en entrée et 0.03$ pour 1000 tokens en retour. Sachant qu'on peut demander au modèle de limiter le nombre de tokens en réponse. L'entraînement pour du fine-tuning d'un GPT3.5 c'est 100$ de l'heure (vive les instances GPU).

Pour référence, 1000 tokens c'est environ 750 mots anglais. Mon précédent message fait 620 tokens d'après le calculateur d'OpenAI pour 316 mots français. Dans mes premiers tests d'intégration pour un chatbot, j'avais justement limité GPT-4 pour qu'il sorte 500 tokens, cela permettait des réponses concises.
D’ailleurs pour rebondir sur le sujet, je suis assez dérouté par les dernières annonces de Microsoft et Samsung/Qualcomm. Microsoft a dit récemment que pour son CoPilot dans Windows 12, ça sera 16Go de RAM mini, voire plutôt 32Go (ou même 64Go) comme base.
Pour les mobiles, discours similaire : en dessous de 16Go voire 24Go point de salut (mais combien de smartphones auront même 12Go de RAM en 2024 ?) et ça pour effectuer les traitements du NPU en local.

En local !? Quand les services Cloud ont explosé depuis 5 ans, que la 5G est quasi disponible partout (ou le sera en 2024 et la 4G+ c’est pas trop mal non plus), que la fibre à 200Mb/s, 500Mb/s (voire 1000Mb/s) est devenue une banalité ou une commodité maintenant. On arrive bien à faire facilement du Cloud Gaming en 1080p, 2,5K voire 4K. Google en est déjà à la génération 2 ou 3 de ses TPU bien plus efficace qu'un CPU ou même un NPU casé dans un coin du CPU.
Tout le monde n'a pas une RTX 4090 dans son desktop, encore moins dans son smartphone (la taille du radiateur du smartphone ! )

C’est quand même pas plus efficace d’envoyer des requêtes sur des ThreadRippers ou Xeons gonflés à la testostérone plutôt que d’avoir 16Go – 24Go sur son mobile qui ne serviront que « quelques fois » ? Et en plus tout bénef pour affiner les profils utilisateurs et collecter de l'info si tout est envoyé sur le Cloud...

Je me rappelle aussi d’un article du feu regretté David L. (mais pas toujours commode le garçon dans les commentaires) sur : « il est plus efficace d’exécuter une tache rapidement sur un processeur qui consomme beaucoup plutôt que sur un processeur qui lui va consommer peu mais va mettre un « siècle » pour arriver au même résultat.»

Bref, j’ai un peu de mal à comprendre en 2024 le retour à faire ça en local, juste avec nos petits moyens techniques comparé aux grands acteurs qui ne jouent pas du tout dans la même catégorie avec une puissance de feu très très largement supérieure.

:reflechis::keskidit:
Modifié le 21/01/2024 à 01h21