Connexion Premium

La Maison-Blanche accuse Kimi K3 de distillation du modèle Fable d’Anthropic

Washington pas open à l'open source

La Maison-Blanche accuse Kimi K3 de distillation du modèle Fable d’Anthropic

Illustration : Flock

L’administration Trump a peut-être trouvé la réplique à Kimi K3, le nouveau modèle IA du labo chinois Moonshot AI, dont les poids seront publiés la semaine prochaine. Un officiel de la Maison-Blanche accuse le LLM de distillation de Fable, le modèle d’Anthropic.

Depuis le lancement de Kimi K3 le 17 juillet dernier, on sent comme un petit vent de panique au sein du gouvernement américain. Le modèle développé par Moonshot AI a plusieurs arguments à faire valoir face à la concurrence des labos états-uniens : des performances 3T « de niveau frontière », en tout cas pas si éloignées des modèles US, des prix plus doux, et surtout une ouverture attendue le 27 juillet. Les poids de Kimi K3 doivent en effet être publiés la semaine prochaine, ce qui permettra aux entreprises et aux organisations de l’installer sur leurs propres serveurs et éventuellement de le modifier.

Le côté open source couplé avec des capacités de premier plan risque de secouer très sérieusement le secteur de l’IA tout entier. Les entreprises pourraient trouver là un modèle à la fois abordable et personnalisable, bien plus souple que les concurrents GPT, Claude et consorts. La place de marché OpenRouter a d’ailleurs calculé que les modèles chinois (majoritairement à poids ouverts) représentaient 60 % de l’usage de tokens par les sociétés américaines, rapporte Bloomberg.

Cette ouverture des modèles provenant de Chine est une stratégie voulue par Pékin. Le président Xi Jinping a ainsi encouragé « l’open source, la collaboration et le partage » pour que l’IA bénéficie aux entreprises de toutes les industries durant la World Artificial Intelligence Conference de Shanghai la semaine dernière.

Washington cherche la faille

C’est un caillou dans la chaussure de l’IA américaine, où les modèles fermés et propriétaires sont la norme. Ils permettent aux labos d’avoir la haute main sur la tarification des tokens, ils peuvent aussi couper le robinet de leurs modèles à tout moment pour n’importe quelle raison – comme on l’a vu le mois dernier avec Fable 5. Le gouvernement américain veut désormais avoir un œil sur les nouveaux modèles de frontière avant leur mise à disposition.

Les modèles à poids ouverts ont ceci de particulier qu’une fois lâchés dans la nature, il devient pratiquement impossible de refermer la boîte. Pour protéger son industrie IA, la Maison-Blanche envisage donc plusieurs tactiques, mais une semble se détacher du lot.

Michael Kratsios, directeur du Bureau de la politique scientifique et technologique de l’administration, affirme sur les réseaux sociaux : « Nous disposons d’informations selon lesquelles Moonshot AI a distillé Fable, le modèle d’Anthropic, pour développer son modèle K3 ». Le haut responsable explique que la startup chinoise a développé une « plateforme interne sophistiquée » pour mener des opérations de distillation à grande échelle.

De la sorte, Moonshot aurait ainsi pu « passer rapidement d’une méthode d’accès à une autre afin d’éviter d’être détectée ». L’entreprise aurait également eu accès à des serveurs équipés de puces GB300 de NVIDIA en Thaïlande, « probablement pour entraîner ses modèles d’IA ». Kratsios n’a rien contre la « distillation légitime », mais « les opérations clandestines de distillation industrielle menées à grande échelle dans le but de voler des technologies américaines propriétaires et de saper la recherche américaine sont inacceptables. »

Tout le monde ne partage pas l’inquiétude de Washington

Anthropic a par le passé déjà accusé Moonshot de distillation sauvage. De son côté, OpenAI se fait beaucoup plus prudente. Dean Ball, responsable de la prospective stratégique au sein du labo, pense ainsi que les performances de Kimi K3 ne peuvent pas être expliquées par une distillation.

Greg Brockman, cofondateur et président d’OpenAI, estime qu’il est encore trop tôt pour déterminer si Moonshot a extrait des résultats des modèles de son entreprise pour améliorer Kimi K3. Mais « c’est quelque chose que nous surveillons en permanence », a-t-il ajouté à Bloomberg, en tressant des lauriers au modèle concurrent, « plutôt bon ».

Les modèles chinois sont mêmes jugés « excellents » par Jensen Huang, le directeur général de NVIDIA. « Les modèles open source qui sont excellents devraient être utilisés », a-t-il ajouté auprès d’Axios. « Il n’existe aucun scénario où la Chine pourrait évincer les entreprises américaines, c’est tout simplement impossible », assène-t-il. Les labos IA américains n’ont donc pas à craindre les modèles à poids ouverts, selon lui, car ils élargissent le marché en permettant à davantage de personnes de découvrir l’IA.

De nombreux utilisateurs continueront de payer pour la simplicité, la fiabilité et les « performances supérieures » des modèles fermés, poursuit le dirigeant. Il prêche évidemment pour sa paroisse : « Une IA gratuite devrait être une excellente nouvelle pour le matériel informatique, une excellente nouvelle pour les puces, une excellente nouvelle pour les centres de données ». Toutes choses fournies par NVIDIA, bien sûr.

Commentaires (16)

votre avatar
Vu la date de sortie de Fable et sa coupure en cours de route, ça serait de toute façon extrêmement rapide comme exercice non ? Genre un peu trop rapide pour être possible.
votre avatar
Puis la multiplication des modèles américains qui ont des performances semblables en de nombreux points quelques mois après montre que ce n'est pas une tâche si complexe non plus et qu'il n'y a pas de raison que la Chine ou un autre acteur parvienne à un tel résultat.
votre avatar
De toute façon la messe est déjà dite. Trump veut interdire aux américains d'utiliser les modèles libérés par les chinois, parce que ça pourrait péter toute la chaîne de valeur créée et les investissements faits.
Assimiler la distillation à de la contrefaçon sera l'accusation parfaite pour parvenir à ses fins, même si, clairement, tous les apprentissages effectués l'ont été en profitant sans vergogne d’œuvres sous droits d'auteur et qu'il ne s'agirait que d'une énième affaire de l'arroseur arrosé.
Gagez que Trump sera ravis une fois parvenu à ses fins, de mettre sous sanction économique toute entreprise en dehors des USA qui voudra utiliser les modèles chinois, vu que le chantage et la fourberie sont à la mode, sinon asseyez vous sur les paiements par CB.

Et nous Européens, pendant ce temps, on sort le popcorn et on les laisse se ruiner des deux côté, tout en profitant des llm ouverts si besoin et en développant à notre rythme selon les réels besoins. 😁
votre avatar
Et nous Européens, pendant ce temps, on sort le popcorn et on les laisse se ruiner des deux côté, tout en profitant des llm ouverts si besoin et en développant à notre rythme selon les réels besoins. 😁
Tellement d'accord avec ça ! :D
votre avatar
votre avatar
OK, en résumé les boites US ont le droit de tout pirater pour entraîner leurs modèles mais pas les autres. J'ai bien compris ?
votre avatar
Voilà. Faut pas voler les voleurs.
votre avatar
Faites ce que je dis, pas ce que je fais est visiblement le socle de base de la politique US.
votre avatar
De toute façon les accusations de la Maison Blanche, cela fait longtemps que plus personne n'y croit.
Les mensonges succèdent aux mensonges et on se doutait bien que tout serait mis en oeuvre pour contrer les modèles open source chinois.
votre avatar
Y'a des gens, sains d'esprit, qui donnent encore le moindre crédit à ce que raconte l'échappé de l'asile qui squatte la maison blanche ? L'argument d'autorité est tenace et efficace.
votre avatar
C'est une fable¹, cette affirmation !

¹ troisième définition, bien sûr.
votre avatar
Je suis d'accord avec ce que vous êtes nombreux à avoir dit. Vu l'arrêt de fable, difficile de l'avoir distillé. Et le fait de traiter de voleur ceux qui utiliseraient les données accessibles des voleurs (de données d'entraînement) c'est pas mal.

Je me pose une question, s'ils ont des infos qui prouve la distillation, pourquoi ils ne porte pas plainte ?

Il manque une partie, j'ai corrigé la citation :
"Nous disposons d’informations d'après Trump selon lesquelles Moonshot AI a distillé Fable, le modèle d’Anthropic, pour développer son modèle K3"

Question sur le côté open source de l'ia chinoise. Avons-nous la même censure concernant le régime et autre si on crée un modèle sur la base open source ?
votre avatar
Sans doute moins prononcé car il'y a pas de filtres écrit en dur mais les modèles ont été entrainés avec beaucoup plus de données chinoises que les modèles occidentaux.
En gros, si tu demandes si la Chine est une dictature ou si Taiwan est indépendant, il y a de fortes chances qu'il réponde non. Mais si tu insistes, il finira sans doute par admettre qu'il y a d'autres points de vue.
votre avatar
Mais Fable était pas censé justement être un Mythos avec des gardes-fous tels que... de la protection contre la distillation ?

Ce qu'ils sont en train de dire, c'est qu'en fait les gardes fous de Fable ne fonctionnent pas et sont parfaitement inutiles ?

Du coup, en toute logique, il faut immédiatement le rendre inaccessible au public, vu qu'il est aussi dangereux que Mythos en fait.
votre avatar
Fable, Mythos...
Tout cela n'est que fariboles
votre avatar
Michael Kratsios, directeur du Bureau de la politique scientifique et technologique de l’administration, affirme sur les réseaux sociaux : « Nous disposons d’informations selon lesquelles Moonshot AI a distillé Fable, le modèle d’Anthropic, pour développer son modèle K3 ».
Ce monsieur a se prendre un procès pour contrefaçon de Colin Powell !