La frénésie des investissements dans l'IA générative est-elle ancrée dans une réalité économique ? Selon plusieurs analystes interrogés par le magazine Institutional Investor, le domaine attire plus probablement les fraudeurs... et commence à former une bulle.
Depuis la sortie de ChatGPT, en novembre 2022, la frénésie autour des modèles d’IA générative n’a fait qu’augmenter. L’une des manières dont cette mode se matérialise est le montant des sommes déversées dans le domaine : en août, CB Insight calculait que plus de 14 milliards de dollars avaient déjà été investis depuis le début 2023, soit plus de cinq fois plus la totalité des sommes en 2022.
« Un marché idéal pour les fraudeurs » ?
Certains des cabinets d’investissement les plus célèbres de l’industrie de la tech se sont tournés vers l’intelligence artificielle, parmi lesquels Andreessen Horowitz (dont le cofondateur a signé en juin un article de blog simplement titré « pourquoi l’IA va sauver le monde »), Coatue Management, Tiger Global ou encore Sequoia Capital.
- Crypto Fund III : Andreessen Horowitz (a16z) lance un fonds de 2,2 milliards de dollars (2021)
- Le fonds Andreessen Horowitz toujours à fond derrière le Web3, Molly White à la critique (mai 2023)
- Où en est le web3 ?
- Après l'explosion de la bulle des cryptomonnaies, la ruée vers l'or des start-ups d'IA générative
Avec un tel afflux de capital, les escroqueries ont aussi explosé. L’IA générative « semble être un marché idéal pour les fraudeurs qui voudraient "théranoser" leur produit », déclare ainsi le fondateur d’Orso Partners Nate Koppikar au magazine Institutional Investor, en référence à l’entreprise Theranos, dont la fondatrice Elizabeth Holmes a été condamnée à 11 ans de prison pour fraude.
Cycle de la hype et attraction des escrocs
Dans une longue enquête, le média économique prend notamment l’exemple d’Applied Digital, une société qui, en quelques années, a changé de nom trois fois. Avant de s’introduire en bourse de New-York avec des actions à moins de 5 dollars, en 2022, l’entreprise s’appelait Applied Science.
Rapidement, elle s’est transformée en service d’hébergement à destination des mineurs de bitcoins. Pour être directement identifiable, elle a pris le nom d’Applied Blockchain. Sauf que la bulle des crypto actifs et du web3 a explosé : le cours de bourse d’Applied Blockchain n’a pas décollé.
C’est alors qu’un nouveau cycle de hype a décollé : celui de l’IA générative. Selon l’entreprise de conseil Gartner, le domaine était tout en haut du cycle qui fait et défait l’attrait pour les technologies émergentes au mois d’août 2023.
Applied Blockchain est devenue Applied Digital, et son cours de bourse a bondi de 450 %. Et quand son PDG a déclaré que l’entreprise avait commandé 26 000 GPU H100 à Nvidia, alors que celles-ci coûtent 40 000 dollars l’unité, plusieurs analystes se sont déclarés franchement sceptiques – l’un de ceux interviewés par le magazine Institutional Investor y détecte une opération de promotion du cours de l’entreprise.
Interdépendance entre géants numériques et start-ups d'IA
« Les géants de la tech mènent la danse », estime Nate Koppikar : des acteurs comme NVIDIA, qui réalise d’immenses bénéfices grâce à la brusque passion pour l’IA. Les grands noms de l’industrie « financent les start-ups et leur font acheter des produits. Ils recyclent les financements. »
- Intelligence artificielle : NVIDIA tire tous azimuts et compte révolutionner le jeu vidéo
- Les résultats de NVIDIA tirés par l’intelligence artificielle : 6,2 milliards de bénéfice net
Selon son analyse, toutes les entreprises fraudeuses existantes tentent d’acheter des GPU H100 « pour dire qu’ils les possèdent », de la même manière que, l’an dernier, « elles mettaient des Bitcoin à leur bilan ». Pourtant, note le média économique, qu’on parle d’ « hallucinations », de « dérives » ou de « dégradations », les modèles d’IA n’ont pas terminé de dévoiler les dysfonctionnements qui poussent à la prudence avant de les déployer à large échelle.
- Les IA génératives tournent mal quand elles sont entraînées sur leurs propres données
- Le remplacement des travailleurs par l'IA, un récit peu nuancé
Des critiques commencent par ailleurs à se demander dans quelle mesure l’époque actuelle dévoile réellement une technologie de rupture plutôt qu’une simple évolution de l’existant. L’apprentissage machine et les modèles de régression, après tout, existaient avant que ChatGPT ne devienne public.
« Avec toutes ces actions surévaluées, il est difficile de dire quand la bulle éclatera, déclare de son côté Sahm Adrangi, analyste de Kerrisdale Capital. Mais un jour, elle éclatera. »
Commentaires (14)
#1
L’hallucination des LLM n’est pas un dysfonctionnement.
Bien sûr, et l’IA générative n’est rien de plus que l’évolution d’une discipline aussi vieille que l’informatique elle-même.
Après, si évidemment il y a une forte hype des investisseurs sur le sujet, je trouve qu’il y a quand même une grosse différence entre les cryptomonnaies et l’IA générative. Les cryptos n’ont jamais été concrètes à mes yeux, peut-être aussi parce qu’elles ne m’ont jamais vraiment intéressées non plus. Je leur ai jamais vu aucune utilité ni incidence dans la société. A part pour la spéculation autour d’elles, j’en entendais jamais réellement parler. Pareil pour les NFT ou encore le metavers où j’ai pu assister à diverses présentations sur le sujet de la part de boîtes qui avaient des trucs à vendre. Dans le concret, pas grand chose à apporter.
L’IA générative, elle est concrète, elle est utilisée, elle produit (des offres de low code / no code sont basées dessus), et elle a un impact sur la société (d’où les questions de l’emploi / remplacement de personnel, propriété intellectuelle, etc). Il y a des cas d’usage où elle est appliquée, elle est utilisée, et elle apporte un gain significatif en matière de qualité des interactions humain/machine (chatbots qui comprennent de quoi on parle et dialoguent de manière plus naturelle, les assistants vocaux qui vont se baser dessus, le niveau 1 de prise d’appel client qui est en train d’arriver, etc).
Mais dans tous les cas, il y a un fort engouement, des boîtes qui se créent, vont se créer, et se vautrer comme à chaque ruée vers l’or.
#2
hmm… Autant pour les cryptomonnaies je n’ai jamais vu d’autre intérêt qu’éviter la traçabilité bancaire, autant pour les IA génératives ont voit déjà des applications concrètes dans plein de domaines.
La génération de nouveaux contenus, c’est ce qui assure la croissance du consumérisme. Pouvoir créer plus facilement/rapidement du contenu c’est un gain de croissance.
Comme toutes les nouvelles techno tendances, il y a des effets d’aubaines qui entrainent une survalorisation du marché. Parfois excessive. Mais de là à parler de bulle, je ne sais pas trop.
A mon sens, il faudrait vraiment un évènement extérieur inattendu (régulation ? drame ?) pour que ca s’effondre brutalement.
#3
C’est clair qu’il y a une bulle car la techno ne va probablement pas évoluer aussi vite que les investissements.
Mais l’IA ne date pas de ChatGPT, et on sentait déjà depuis 10 ans une accélération (avec AlphaGo etc.).
Beaucoup trop des meilleurs chercheurs sont concentrés chez Google, Facebook et quelques autres.
Mais Google est complétement paralysé depuis que Pichai est à la tête du groupe.
Pichai ne prendra jamais le moindre risque et refusera toujours toute techno n’ayant pas déjà été validée par d’autres concurrents. Bref, Google ne fera probablement rien.
D’ailleurs Google avait en interne une techno équivalente ou supérieure à ChatGPT depuis des années et n’en faisait strictement rien.
Quand ChatGPT est sorti, ils n’ont rien fait d’autre que de le copier à l’identique et ont suivi Microsoft sur les fonctions dans Office… et c’est tout.
Bref, juste le strict minimum exigé par les marchés, et tant que Pichai sera là ça ne risque pas de s’améliorer.
C’est vraiment dommage car ils ont les deux meilleures équipes de chercheurs - l’équipe interne qui a inventé les transformeurs (à la base de ChatGPT - apparemment certains sont déjà partis ailleurs) et DeepMind (AlphaGo etc).
Il reste Facebook avec LeCun, l’équipe de OpenIA, et Apple.
#4
c’est pourtant l’opposé du principe même des crypto (basées sur une blockchain), tout est tracé, la moindre transaction de A vers B ou de Z vers E
le seul truc, c’est que A, B, Z et E ne sont pas identifiables tant qu’il n’y a pas de “retrait” d’une manière ou d’une autre (si tu paies un café avec ton compte Z, le vendeur saura que c’est toi, mais il n’aura pas pour autant ton nom ou ton adresse, si tu te fais livrer une commande chez toi, le vendeur saura que le compte B s’est fait livrer chez toi à ton nom)
c’est un très mauvais terme, la machine ne comprend rien du tout, elle formule des réponses qui statistiquement (pour résumer, même si c’est plus complexe que des statistiques) sont cohérentes avec les mots présents dans la demande, grosse nuance, et considérer que la machine comprend, s’est s’exposer à de très grosses déceptions quand la réponse se trouve être une des fameuses hallucinations …
#4.1
J’allais dire la meme chose, “comprendre” n’est clairement pas le bon mot à utiliser.
#5
Ce qui est ironique, c’est que le T de GPT (Generative Pre-trained Transformer) vient de Google.
Du point de vue de l’utilisateur, un outil basé sur GPT comprend la requête puisque concrètement, GPT poursuit l’écriture d’un texte. Il ne sait pas de quoi il parle, mais il génère quelque chose de cohérent avec le contexte avec plus ou moins d’aléatoire selon la latitude qu’on lui donne. C’est de cette forme de compréhension dont je parle. Là où les chatbots un peu plus standard sont (de mon expérience perso) à côté de la plaque les 3⁄4 du temps.
Tout comme la contextualisation du modèle se fait via un prompt : on donne un ordre principal au modèle du type “tu es un chatbot pour faire X tu ne réponds qu’aux questions relatives à l’enseigne et ne parle pas de la concurrence” (c’est très simplifié). Ce prompt est injecté dans le contexte des discussions avec l’utilisateur final pour garder cet ordre. Et d’un certain point de vue, cet ordre est compris par le modèle et associé à la requête de l’utilisateur. Les hallucinations sont notamment causées par le contexte lorsqu’il devient trop gros. C’est l’une des raisons pour lesquelles le chatbot de Bing est limité à 30 échanges, pour éviter de partir en couille comme ChatGPT peut le faire quand on travaille sur le même contexte depuis 6 mois.
Même si derrière c’est que du compute et de la statistique (c’est d’ailleurs ce qu’on appelle le “AI effect”), il n’en demeure pas moins que l’outil comprend la requête utilisateur puisqu’il a justement pour but d’être cohérent avec le contexte. Il ne comprend pas le sens des mots qui lui sont envoyé, ni même celui de ceux qu’il génère, mais il comprend la corrélation de ceux-ci, leur contexte, et génère la meilleure suite possible. C’est bien une forme de compréhension, au même titre que tu peux comprendre ce qu’on te dit dans une langue étrangère sans même savoir la parler car les infos contextuelles t’ont aidé (et perso je l’ai plus d’une fois vécu dans la mesure où je travaille beaucoup dans des contextes internationaux, des cas de conversations entre les personnes où je n’avais aucune idée de ce qu’ils disaient, mais je comprenais quand même).
#5.1
Je ne suis pas d’accord avec ton exemple. Tu vas essayer de déduire de l’environnement, de l’heure, de la gestuelle ce qui disent des personnes dont tu ne comprends pas le langage. ChatGPT va simplement trouver la suite de caractères qui corrèle le mieux avec la suite bde caractère que tu lui as envoyé, en utilisant les milliards de milliards de suites de caractères qu’il a scanné sur le net. C’est bluffant et on a l’impression qu’il “comprend” ce qu’on lui demande mais il n’y a aucune comprehension là dedans !
#5.2
Une vidéo intéressante qui prend le temps de détailler ce que l’on met derrière le terme “comprendre” et comment il peut s’appliquer, ou non, à ChatGPT.
https://www.youtube.com/watch?v=_XJsAQsT0Bo
#5.3
Dans la mesure où ce débat existe aussi au sein de la recherche sur l’intelligence artificielle, on risque d’être difficilement d’accord. J’ai exposé mon point de vue de personne utilisant ces outils depuis le début de l’année (que ce soit ChatGPT, celui de Bing, le Copilot de GitHub, LLaMA sur ma machine, ou encore StableDiffusion aussi sur ma machine) et étudiant aussi leur intégration concrète dans un SI avec leurs forces et faiblesses.
#6
Merci pour le lien, vidéo très intéressante.
Comme dit dans la vidéo ci-dessus, il y a plusieurs sens au mot comprendre et nous n’utilisons sans doute pas le même.
De mon côté, un exemple qui fait que je pêche du côté “ChatGPT ne comprend pas”, c’est qu’il y a quelques mois, j’ai posé une question sur une question très spécifique sur de l’éléctronique / traitement de signal pour lequel je sais qu’on ne trouve rien ou quasi rien sur internet. Une personne qui comprendrait le fond de ma question et qui n’est pas du domaine m’aurait répondu “je ne sais pas, je n’y connais rien”. ChatGPT m’a répondu tout un texte grammaticalement juste, mais qui n’avait absolument aucun sens avec des éléments piochés ici et là à partir des mots que j’ai utilisé dans ma question.
Expérience à renouveler avec ChatGPT 4 ceci-dit.
#6.1
C’est effectivement un des défauts de cet outil que j’avais constaté assez rapidement quand j’ai commencé à l’utiliser. Il ne sait pas dire “je ne sais pas” car c’est pas son but : il est là pour poursuivre l’écriture d’un texte et c’est ce dans quoi il excelle. Il n’est pas fait pour répondre à des questions, c’est un travers de la comm’ d’OpenAI qui m’a fortement agacé tellement elle a propagée de fausses idées sur l’utilisation de GPT.
Si on veut utiliser GPT en mode assistant de recherche d’information, il faut lorgner du côté des implémentations où le modèle est alimenté par une recherche d’information. Typiquement quand on regarde sur Bing (et comme feu le mode Web de ChatGPT), il va lancer une recherche avec des mots clés reprenant les éléments les plus importants du contexte (car c’est comme ça que GPT raisonne pour faire simple), puis il synthétise les résultats obtenus.
Et sur ce cas d’usage, c’est tout simplement génial pour dégrossir un sujet avant d’aller en profondeur. Je l’ai fait plusieurs fois pour avoir des comparaisons rapides d’infos publiques sur des solutions techniques, ça fait gagner un temps fou. Le problème, c’est que ces implémentations sont bridées soit à cause de restrictions type légal (Bing m’a déjà craché plusieurs fois “je peux pas copyright toussa”) ou encore contexte trop lourd qui fait que la requête est trop coûteuse et échoue ou est incomplète.
Je le dis depuis un bail sur NXI : GPT n’est pas Oracle-qui-sait-tout-et-voit-tout. Il ne sait rien, il n’a pas de mémoire, il n’apprend pas non plus. J’ai plusieurs fois parlé de “base de connaissances”, mais c’est plus une image pour illustrer le fait que ses connaissances sont issues de connexions entre des mots.
Quand je dis qu’il comprend le contexte de la requête, c’est parce que son modèle de raisonnement agit par déconstruction du prompt et analyse de celui-ci pour produire la suite. Chaque mot est analysé unitairement par rapport à celui qui le précède avec une attention déterminée par un jeu de poids et de probabilités, vérifiant les concordances de mots en fonction des clés qui les lient, les valeurs obtenues sont mixées ensemble et derrière il produit la prédiction finale du prochain mot. GPT utilise 12 ensembles par mot pour évaluer le contexte (c’est l’étape du decoder), concaténer les possibilités et produire le résultat final.
Pour ton propre exemple, cela ne m’étonne pas : dès qu’on demande des choses très précises, le modèle affiche ses limites. Ce qui est normal, c’est pas un moteur de recherche. Il a fait ce qu’il savait faire : poursuivre le texte. Mais comme il a manqué de connexions, il s’est retrouvé à côté de la plaque.
Pour moi, une bonne implémentation de GPT se fait en utilisant un modèle bien entraîné (car mieux il est entraîné, mieux il comprendra les prompts et sera cohérent) et surtout, en lui donnant des inputs pour qu’il puisse lire le contenu, extraire les infos demandées et les restituer.
C’est le genre d’implem pour entreprise qui se propose de plus en plus où le client a une instance du modèle à qui il ajoute un entraînement complémentaire pour ses données (de préférence des données qui ne bougent pas, si ce sont des données vivantes il vaut mieux que le modèle aille les chercher auprès du référentiel adéquat) et qui permet ainsi de faire interface avec des clients ou du personnel. Utiliser le modèle seul n’a aucun sens car il atteindra vite ses limites.
#7
Je suis d’accord avec toi de ce point de vue pour utiliser “comprendre” dans le sens où c’est synonyme de trouver la bonne relation entre les mots du prompt qui permet de produire une suite qui a le plus de sens d’un point de vu niveau statistique.
C’est juste qu’il est différent du “comprendre” que j’avais en tête et qui serait l’équivalent de se faire une représentation mentale du problème qui est derrière le texte de manière à y appliquer un raisonnement logique, mathématique ou intuitif qui permettrait de sortir une réponse correcte même si elle n’a jamais été vu/apprise auparavant (ça arrive parfois chez les humains) alors que ça n’arrivera jamais avec les LLMs.
Mais comme tu le dis, les LLMs ne sont pas fait pour répondre à des questions, c’est une utilisation détournée.
#7.1
Ravi qu’on se soit compris
#8
Plus que de compréhension, on peut parler de faculté de raisonnement.
Même si au vu de l’implémentation, on peut dire que ChatGPT n’a pas de réelle faculté de raisonnement, il est intéressant de voir à quel point il arrive à générer du texte qui donne l’impression d’être issue d’un raisonnement.
Plutôt que de se demander si ChatGPT comprend/raisonne ou non, je vois ça plutôt comme une occasion de se demander dans quelle mesure “notre” raisonnement (humain) est constitué d’un réel raisonnement intrinsèque et dans quelle mesure il est constitué d’une sorte d’intuition basée sur notre expérience (ce que les LLM reproduisent plutôt bien selon leur modèle de données).