Avec sa puce Napier, Tensordyne veut faire 13x à 17x mieux que les GPU NVIDIA
Et tu Tape Tape Tape c’est ta façon d’AImer
Remplacer les multiplications par des additions, telle est l’approche de Tensordyne pour augmenter de manière importante les performances des processeurs pour l’intelligence artificielle. Le fabricant utilise une « sauce secrète » et promet jusqu’à 13 fois plus de tokens par seconde que NVIDIA. On vous explique cette astuce.
L’IA : des centaines de milliards de calculs
Comme nous l’avons déjà expliqué dans un #Nextquick, une simple requête à une IA générative (via un grand modèle de langage) entraine déjà des centaines de milliards de calculs… au bas mot. GPT-3, avec ses 175 milliards de paramètres, représente environ 350 milliards de calculs par token… avec des multiplications et des additions. On peut généralement multiplier par deux le nombre de paramètres pour avoir une approximation du nombre de calculs.
Les GPU avec la parallélisation massive des calculs sont largement devant les CPU pour ce genre d’opérations. NVIDIA domine dans ce domaine, surtout pour entrainer de gros modèles. Il existe certes des concurrents avec des ASIC (notamment les TPU de Google), mais encore faut-il réussir à embarquer l’écosystème face à la plateforme à tout faire CUDA de NVIDIA (là encore, nous avons un Nextquick sur le sujet) qui s’est installée comme une référence et un standard de facto.
- #Nextquick Une simple requête à ChatGPT, c’est déjà des centaines de milliards de calculs
- #Nextquick Pourquoi tout le monde se jette encore sur les GPU NVIDIA pour l’IA
Tensordyne transforme les multiplications en additions
Tensordyne propose une autre approche, comme l’indique notamment CNET. Au lieu d’effectuer des calculs sur des nombres à virgule flottante – c’est-à-dire des nombres décimaux classiques comme 1,32 ou encore 0,78 –, la start-up germano-américaine passe dans le monde des logarithmes.
Ces nombres ont un avantage intéressant : une multiplication devient une addition, une opération moins coûteuse et qui demande moins de place sur un circuit électronique. Toutefois, effectuer une addition dans le monde des logarithmes est bien plus compliqué.
Vous avez des nœuds dans le cerveau ? Reprenons, calmement. Dans le monde des mathématiques classiques, une multiplication entre a et b sur un GPU coûte « plus cher » qu’une addition ; c’est plus complexe dans la pratique, mais simplifions au maximum dans le cadre de cet article.
V’la la tête d’une addition dans le monde des logarithmes…
Commentaires (0)
Signaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?