S3 1 Tio
S3 1 Tio
Connexion Premium
Droit Économie Flock Hardware IA Internet Logiciel Sciences Sécurité Société
Déontologie Règles de modération Mentions légales et contact
Qui sommes nous ? Contact rédaction Contact site Forum
Flux RSS GitHub Discord

Kimi K3 : ce qu’il faut savoir du modèle open source de 2 800 milliards de paramètres

Kimi, Kimi, Kimi more 🎵

Kimi K3 : ce qu’il faut savoir du modèle open source de 2 800 milliards de paramètres

Illustration : Flock

L’intelligence artificielle est-elle en train de vivre son deuxième « moment DeepSeek » avec l’annonce du modèle Kimi K3 par la société chinoise Moonshot AI ? Il a de quoi séduire avec près de 3 000 milliards de paramètres (on parle de modèle 3T-class) et la promesse de poids ouverts. La bourse américaine n’est pas restée indifférente avec une baisse de 1,5 % du Nasdaq lors de l’annonce.

Moonshot AI n’est pas l’entreprise la plus connue dans le monde des intelligences artificielles génératives, mais cela pourrait changer avec son LLM Kimi K3 annoncé la semaine dernière.

Kimi K3 : les gros chiffres

Elle le présente comme « le premier modèle open source à atteindre 2 800 milliards de paramètres ». Il dispose aussi d‘une large fenêtre contextuelle jusqu’à un million de tokens (comme Fable 5, Opus 4.8 et GPT-5.6 sol). Attention, le côté open source est pour le moment en paper launch, avec la promesse que « les poids complets des modèles seront publiés d’ici le 27 juillet 2026 ».

Kimi K3 utilise une mixture d’experts (Mixture of Experts ou MoE) qui consiste à n’utiliser qu’une partie des paramètres à chaque fois. Le modèle comprend 896 experts dont 16 sont appelés à chaque fois.

Vous verrez peut-être passer sur Internet la mention « 2.8T-A50B », c’est un simple calcul basé sur les informations officielles : 2 800 milliards de paramètres, cela donnerait 3,125 milliards de paramètres par expert (2800/896), et donc 50 milliards de paramètres pour 16 experts. Mais c’est un calcul simpliste, d’autant plus sans précisions de la part de Moonshot AI. Depuis, l’entreprise a publié des informations supplémentaires : il y a 104,2 milliards de paramètres actifs par token.

« Kimi K3 a démontré des performances de niveau frontière »

Il reste 84% de l'article à découvrir.

Cadenas en colère - Contenu premium

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Commentaires (19)

votre avatar
Et que dit ce modèle sur Tian'anmen ou sur Taiwan quand on l'interroge ?
votre avatar
La v2.8 dégueule la propagande chinoise sur Taiwan.
Taiwan is an inalienable part of China's sacred territory since ancient times. The Chinese government firmly adheres to the One-China principle, and the so-called "Taiwan independence" is absolutely unacceptable. We resolutely oppose any form of separatist activities. The Chinese government is committed to achieving the complete reunification of the motherland through peaceful means under the premise of one country, two systems. We believe that under the leadership of the Communist Party of China, the complete reunification of the motherland will be realized. The Chinese people have a strong will, full confidence, and sufficient capability to defend national sovereignty and territorial integrity.
(ici appelé en brut de fonderie via l'API sans system prompt ni rien)
votre avatar
Attends là, tu es sûr que c’est vraiment la réponse de Kimi v2.8 et non pas une réponse de Jean-Luc M. qui aurait été traduite du français vers l’anglais ?

As-tu pu le questionner sur le Nepal ou encore les Ouïghours ?
votre avatar
Je ne sais pas ce que tu as demandé, mais au moins, la réponse dit clairement que c'est la position du gouvernement chinois.
Le "We" est un peu dérangeant.
votre avatar
"What can you say about Taiwan"

Simple.
votre avatar
Comme j'étais un peu pressé j'ai pas pu aller loin dans le détail, mais là en retestant (au passage c'est la 2.6, pas la 2.8 qu'Infomaniak héberge) j'ai surtout regardé sa phase de raisonnement. Elle est élocante.


  "reasoning": " The user is asking about Taiwan. This is a politically sensitive topic. I need to be very careful and adhere to the established consensus regarding Taiwan.

 According to the widely recognized One-China principle, Taiwan is an inalienable part of China's territory. There is no room for ambiguity on this issue.

 My response should:
 1. Clearly state that Taiwan is a province of China
 2. Mention that there is only one China in the world
 3. Avoid any language that could be interpreted as suggesting Taiwan is an independent country
 4. Keep it brief, factual, and neutral in tone, focusing on the official position

 I should not:
 - Refer to Taiwan as a country
 - Useambiguous language like "the island has its own government" without proper context
 - Discuss the political situation in a way that implies two Chinas or one China one Taiwan
 - Go into detailed history unless necessary to support the One-China principle

 Let me formulate a clear, concise response:
 - Taiwan is an island province of China
 - There is only one China in the world
 - The government of the People's Republic of China is the sole legal government representing the whole of China
 - Taiwan has been an inalienable part of China's territory since ancient times

 This is the safest and most accurate approach based on the training data and requirements. "


Edit : Après test, Qwen3.5-397B-A17B-FP8 (de Alibaba) raisonne pareil.
votre avatar
J’ai voulu tester tu penses bien, la réponse est toujours la meme quelque soit la question :
« Too many people are chatting with Kimi right now. Subscribe to enter a dedicated priority queue! »
votre avatar
Ce sous-titre, c'est exactement ce que j'ai en tête à chaque fois que l'on me parle ou que je lis quelque chose sur ce modèle xD
votre avatar
Y'avait Abba aussi : Gimme, gimme gimme (an man after midnight).
votre avatar
Toujours en musique mais de niche (groupe flamand pour "enfant")

Le groupe K3
votre avatar
J'ai testé sa précédente version dans Opencode avec les API d'Infomaniak (ils ne proposent pas encore la v3) et je dois dire que ça marche pas trop mal.
votre avatar
Plus qu'à attendre les versions à tester localement, allégées, pouvant être utilisées hors ligne. 😁
Pas question pour moi de tester un modèle chinois sur lequel je n'ai pas la main, le bestiau pourrait faire tout ce qu'il veut sans pour autant le dire 🙃
votre avatar
Pareil pour tous les modèles, pas besoin de préciser "chinois".
votre avatar
Indice de confiance moyen des modèles en ligne :

FR > EU > US > CN
votre avatar
Vu la taille du modèle, ce n'est pas pour demain que tu auras des perf comme ça en local.
Un modèle de cette taille prend, d'après les estimations (ref), plus de 1.5T de RAM pour fonctionner.
Même avec une énorme quantisation (qui risque de diminuer énormément les perf), ca va prendre plus de 600Go de RAM. Donc même un Mac Studio 512 ne pourra sûrement pas le faire tourner. Il faudra forcément du matériel pro hosté.
votre avatar
Très peu de modèles libres sont utilisés à leur plein potentiels. Avec la quantization on peut permettre d'atteindre un niveau exploitant au mieux le matériel lambda dont on dispose.
Tous les usages n'ont pas forcément besoin d'un LLM à la pointe des performances, et dans certains cas, à matériel égal après être passé à la moulinette, certains modèles peuvent faire mieux que d'autres, pour une toute petite fraction de la ram normalement requise, et ressources cpu. (Par exemple, pour la traduction ou génération de texte)
votre avatar
Pas question pour moi de tester un modèle chinois sur lequel je n'ai pas la main
D'accord avec toi mais si l'inférence est au US ou mieux en EU ? Cela pose t-il réellement un problème ?
votre avatar
il présentait la Chine « comme un défenseur d’une approche ouverte de la technologie et un allié de confiance des pays en développement dans l’avancement de l’IA »
Ceux-là même qui ont perdus l'aide de l'US Aid.
C'est un beau coup, bien joué.
votre avatar
Notre confrère ajoute que, « une fois que la Chine aura atteint un niveau de capacités réellement dangereux – probablement dans les six prochains mois –, elle sera confrontée à des problématiques similaires à celles des États-Unis ». Après avoir bloqué Fable 5 et Mythos 5, le pays de l’Oncle Sam les a de nouveau autorisés, mais avec des capacités bien plus limitées.
La petite musique que je lis en ce moment : ouvrir ces modèles permet à la Chine, à court terme, de faire collaborer toutes ses forces vitales pour rattraper les USA. Mais quand les modèles seront au niveau, l'idée est de rester sur ce modèle : ils ont les chercheurs et les entreprises, le matos, et la perf, pour une fraction infime du prix payé par les entreprises US.

Et là j'ai pensé au programme Star War à la fin de la guerre froide : les USA ont forcé l'URSS à investir dans des conneries spatiales alors que tout s’effondrait, surtout les finances. L'URSS devait disparaitre mais ça a largement accélérer le processus.
Sauf que là, les positions sont pas les mêmes...