IA :  la déconstruction du mythe du « plus c’est gros, mieux c’est »

IA : la déconstruction du mythe du « plus c’est gros, mieux c’est »

Tu sais ce qu'il te dit le cassis ?

11

IA :  la déconstruction du mythe du « plus c’est gros, mieux c’est »

Abonnez-vous pour tout dévorer et ne rien manquer.

Déjà abonné ? Se connecter

Abonnez-vous

Alors que Sam Altman a publié un billet promettant un avenir radieux grâce à une IA « requérant beaucoup d'énergie et de puces », les chercheuses Sasha Luccioni et Meredith Whittaker et leur collègue Gaël Varoquaux ont résumé les critiques d'une R&D de l'IA qui ne compte presque que sur l'augmentation de la puissance des machines pour avancer.

La semaine dernière, Sam Altman a publié un billet dans lequel il imagine un futur où le monde partage une « prospérité à un degré qui semble inimaginable aujourd'hui » et dans lequel « la vie de chacun pourra être meilleure que la vie actuelle de n'importe qui ». Ceci, évidemment, grâce à l'IA. Pour cela, affirme le CEO d'OpenAI, « nous devons réduire le coût du calcul et le rendre abondant (ce qui nécessite beaucoup d'énergie et de puces) ».

Mais il menace : « si nous ne construisons pas suffisamment d'infrastructures », donc si son industrie ne reçoit pas assez de financements, « l'IA sera une ressource très limitée qui fera l'objet de guerres et deviendra principalement un outil pour les riches ».

Dévitalisé de ses apparats prophétiques, ce discours s'inscrit dans une longue série de plaidoyers pour une Recherche & développement (R&D) de l'IA qui avancerait par de simples coups/coûts d'augmentation des performances des machines. Alors qu'on commence à connaître un peu mieux l'impact environnemental de l'IA générative, cette vision est dénoncée par trois chercheurs très connus dans le milieu : Sasha Luccioni qui travaille pour Hugging Face, Meredith Whittaker chercheuse à l'Université d'Australie-Occidentale mais aussi Présidente de la fondation Signal, et Gaël Varoquaux, chercheur à Inria.

Une prétendue corrélation vieille de 12 ans

Dans un article (un « position paper » titré « Hype, Sustainability, and the Price of the Bigger-is-Better Paradigm in AI ») mis en ligne sur arXiv deux jours avant la publication du billet de Sam Altman, ces trois chercheurs expliquent que cette idée s'est disséminée dans le milieu de l'IA depuis l'arrivée en 2012 d'une certaine architecture de réseau neuronal convolutif : « AlexNet a créé la recette de l'actuel paradigme "bigger-is-better" de l'IA, en combinant les GPU, les big data (du moins pour l'époque) et les approches s'appuyant sur les réseaux neuronaux à grande échelle ».

Il reste 73% de l'article à découvrir. Abonnez-vous pour ne rien manquer.

Déjà abonné ? Se connecter

Abonnez-vous

Commentaires (11)


Sam Altman dit : « je pense que l'avenir sera si brillant que personne ne pourra lui rendre justice en essayant de l'écrire maintenant, l'une des caractéristiques de l'ère de l'intelligence sera la prospérité massive »


Je ne sais pas ce qu'il prend, mais ça a l'air assez puissant.
Ça s'appelle le technologisme.

Berbe

Ça s'appelle le technologisme.
Je vais inventer un mot : technolyrisme. :D

Berbe

Ça s'appelle le technologisme.
... Ou une grosse hallu transhumaniste ? :fume:

Berbe

Ça s'appelle le technologisme.
Techno-solutionisme plutôt non ?
Oh le mec, on sent qu'il ne se fait même plus chier pour écrire ses discours !
Moi aussi tiens :
Je pense que l'avenir s'étendra devant nous avec une lumière si éclatante que tenter de le décrire aujourd'hui serait insuffisant, presque dérisoire. L'ère de l'intelligence ne sera pas seulement marquée par des avancées techniques, mais par une prospérité aussi vaste que les rêves que nous n'osons encore formuler. L'humanité, portée par une intelligence qui transcende l'imagination, se dressera dans une ère où les limites de la création s'évanouiront, et où chaque esprit pourra toucher l'infini."
Eh oui ça vient de chatgpt aussi 😅

Sbbtn

Oh le mec, on sent qu'il ne se fait même plus chier pour écrire ses discours !
Moi aussi tiens :
Je pense que l'avenir s'étendra devant nous avec une lumière si éclatante que tenter de le décrire aujourd'hui serait insuffisant, presque dérisoire. L'ère de l'intelligence ne sera pas seulement marquée par des avancées techniques, mais par une prospérité aussi vaste que les rêves que nous n'osons encore formuler. L'humanité, portée par une intelligence qui transcende l'imagination, se dressera dans une ère où les limites de la création s'évanouiront, et où chaque esprit pourra toucher l'infini."
Eh oui ça vient de chatgpt aussi 😅
Ah mais t'inquiète son discours il l'a fait écrire par l'IA. Eat your own dog food et tout ça. :)
Très bonne étude et très bon article !

Un jour, quand vous aurez le temps et que vous serez super-relax, ce serait bien de faire le point sur les méthodes et technos alternatives au DL citées dans l'article :
modèles d'arbres de décision
régression logistique
les arbres boostés [boosted trees, en anglais]
intégration aléatoire de la séquence d'apprentissage de l'élève


Bon, je sais, faire de la vulgarisation, c'est d'un vulgaire ! Mais comme dirait Coluche, "C'est pas grossier" !
...A moins que ne ce soit le contraire ? :byebye: :roll: :love: :8
Waouh! Sam Altman est en train de devenir un vrai gourou de l'AI...
"Si toi faire grande offrande beaucoup beaucoup sous-sous à grand Dieu AI, alors grand Dieu AI très content (et moi aussi) et bénir les enfants des enfants de tes enfants!
Mais attention, si offrande pas assez grande, alors grand Dieu AI très fâché! Grands malheurs s'abattre sur ta tribu sur trente générations!
Alors, toi donner grande offrande beaucoup beaucoup sous-sous ??? "
Modifié le 02/10/2024 à 14h18

Historique des modifications :

Super article, merci !
Fermer