S3 1 Tio
S3 1 Tio
Connexion Premium
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

T@LC : on a voulu tester Kimi K3 (1 562 Go) en « local », on a failli finir ruinés

Heu… 43 800 euros en note de frais, ça passe ?

T@LC : on a voulu tester Kimi K3 (1 562 Go) en « local », on a failli finir ruinés

Illustration : Flock

Installer le modèle open source Kimi K3 en « local » c’est faisable ? Non… Et en louant des GPU pour rester maître de ses données ? En théorie, oui… mais la facture risque de vous faire mal au porte-monnaie avec plus de 1 000 euros… par jour.

C’est donc aujourd’hui que Moonshot AI publie les poids de son dernier modèle Kimi K3, avec pas moins de 2 800 milliards de paramètres. Il est donc possible de l’installer et de l’utiliser en local ou bien sur une machine louée. Vous pouvez rester maître de vos données et prompts, sans passer par les serveurs de l’entreprise.

Est-ce facile à déployer sur une machine ? Réponse simple : non. Quelles sont les performances ? Excellentes… pour vider rapidement votre porte-monnaie. Cela mérite des explications.

Le point crucial est la mémoire. Pour utiliser dans de bonnes conditions un modèle, il faut pouvoir charger ses paramètres en mémoire – idéalement dans celle du GPU, même s’il est possible de composer aussi avec celle du CPU au prix de performances moindres. Les paramètres, ce sont les poids des neurones. À la place des poids, on peut aussi parler des nombres.

Avec un modèle aussi gros, louer des instances GPU pour le faire tourner nous couterait plusieurs dizaines de milliers d’euros par mois, comme nous allons le voir.

Il reste 70% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (2)

votre avatar
Ce qui serait intéressant c'est de savoir combien d'utilisateurs simultanés une telle instance permettrait de gérer de façon "confortable".
10 ? 100 ? 1000 ?

Il faut ensuite rapporter ça à combien coûterait pour ces mêmes utilisateurs des abonnements aux différents LLM providers pour valider l'équilibre économique de la chose.

Autre élément d'étude, les tokens/s qui sont gérés, et l'acceptabilité d'un traitement plus "lent" dans le cadre d'un traitement "autonome" (comprendre hors LLM-provider).
votre avatar
Comptez 60 euros de l’heure tout de même pour cette instance… soit 1 440 euros par jour et jusqu’à 43 800 euros par mois.
Soit le TJM d'un manager de transition, de directeur de programme parisiens, par exemple.

À la différence qu'il ne travaillera pas 730 heures par mois, mais plutôt 20 jours ouvrés en moyenne, donc quasi deux fois moins cher ;)