Ne nous précipitons pas pour dire que la startup chinoise Deepseek a révolutionné le champ des IA génératives jusqu’à penser que l’Intelligence artificielle générale est proche, comme ses chercheurs le suggèrent dans leur rapport technique, reprenant les discours des startups américaines comme OpenAI à leur compte.

Mais ne renvoyons pas non plus d’un revers de la main les prétentions de cette jeune entreprise chinoise, qui vient de faire trembler la bourse américaine et fait craindre aux investisseurs l’éclatement de la bulle spéculative dont bénéficient ses concurrents états-uniens. Comme le modèle o1 d’OpenAI, le modèle DeepSeek-R1 se base sur de l’apprentissage par renforcement à grande échelle.

• IA

  OpenAI o1 : une nouvelle approche et un modèle capable d’évaluer sa réponse

  IA

  Vendredi 13 septembre 2024 à 12h27 13/09/2024 12h27

  15

DeepSeek n’est pas une startup sortie de nulle part, comme le rappellent certains : son laboratoire rassemble plus de 100 chercheurs et elle a mis en ligne 16 articles de recherche en lien avec l’IA générative.

Un rapport technique détaillant l’architecture du modèle

Si certains, comme le CEO de l’entreprise américaine Scale AI, Alexandr Wang, estiment que l’entreprise chinoise ment sur l’efficacité de son modèle, le rapport technique mis en ligne [PDF] donne des indications montrant qu’elle a, de fait, innové dans le domaine.

Celui-ci n’est pas une publication scientifique, et il n’est pas non plus mis en ligne sur une plateforme de prépublication comme arXiv, mais il se révèle beaucoup plus détaillé que ceux de ses concurrents américains comme OpenAI. En parallèle, l’entreprise revendique de publier ainsi le modèle en « open source » le plus puissant du moment, rivalisant dans les benchmarks avec o1 d’OpenAI tout en étant beaucoup moins énergivore.

• IA

  Raisonnement des IA génératives : les benchmarks nous désinforment

  IA

  Vendredi 25 octobre 2024 à 10h54 25/10/2024 10h54

  33

Un modèle pas si ouvert et une accusation de vol de propriété intellectuelle d’OpenAI

Mais comme le remarque Timnit Gebru, DeepSeek-R1 est loin d’être open source. L’entreprise chinoise a bien décrit l’architecture de son modèle dans son rapport et publié les poids qui en sont issus. Le modèle peut également être utilisé en local après avoir été téléchargé sur Hugging Face. Mais elle n’a publié ni le code, ni les données sur lesquelles elle l’a entrainé et évalué. Des chercheurs de la startup Hugging Face se sont d’ailleurs lancés dans une démarche de reproduction de DeepSeek-R1 pour obtenir un modèle du même type « pleinement ouvert ». Notons que ce projet, nommé Open-R1, n’est pour l’instant que dans sa phase de lancement.

• IA

  IA : c’est quoi exactement un neurone (informatique), comment ça marche

  IA

  Vendredi 14 juin 2024 à 17h46 14/06/2024 17h46

  13

De son côté, le chercheur et co-fondateur de la startup Pleias, Pierre-Carl Langlais, souligne à Next qu’ « une de leur force a quand même été de s’engager dans la science ouverte malgré tout : ils ont publié des papiers détaillés, les poids du modèle. Ça a été une très grosse erreur des entreprises américaines de snober l’open source et ça va leur couter très cher ». Pour lui, DeepSeek-R1 « est quand même le premier modèle de reasoning réellement ouvert et performant ».

Par ailleurs, selon le Financial Times, OpenAI accuse son concurrent chinois d’avoir utilisé un de ses modèles pour entrainer DeepSeek-R1, en employant la distillation. Cette technique permet de « surpasser les grands modèles de langage avec moins de données d’entraînement et des tailles de modèles plus petites » en entrainant un modèle avec les réponses d’un modèle plus grand, comme l’expliquait des chercheurs de Google en 2023 dans la version « pas à pas » de la méthode qu’ils ont créée.

David Sacks, nouveau tsar de l’IA et de la crypto de la Maison Blanche, soulève la possibilité d’un vol présumé de la propriété intellectuelle d’OpenAI. Rappelons qu’OpenAI a aussi été accusé à plusieurs reprises de violation du copyright (ici et là par exemple) pour entrainer ses modèles.

DeepSeek-V3, un modèle de fondation solide sur lequel s’appuyer

Les chercheurs de DeepSeek, eux, amènent dans leur rapport d’autres explications. D’abord, DeepSeek-R1 s’appuie sur un premier modèle de langage DeepSeek-V3 développé par la même startup chinoise, comme leurs noms l’indiquent. DeepSeek-V3 est un modèle de fondation « solide » comme le confirment les chercheurs de Hugging Face impliqués dans le projet Open-R1 : ce modèle de 671 milliards de paramètres utilisant la technique de Mixture of Experts (MoE) est « aussi performant que des poids lourds tels que Sonnet 3.5 et GPT-4o », expliquent-ils.

« La force de ce modèle de base est dans le pré-traitement des données en PDF, ils ont vraiment bossé ça à fond et ça se ressent lorsqu’on interagit avec lui. Il y a vraiment une compréhension nette de la structuration des textes qu’il n’y a pas ailleurs », estime Pierre-Carl Langlais.

Les chercheurs de Hugging Face insistent sur autre chose : « ce qui est particulièrement impressionnant, c’est la rentabilité de son entraînement – seulement 5,5 millions de dollars », expliquent-ils. Pour cela, ils ont modifié la confection des modèles de fondation en utilisant « la prédiction multi-token (MTP), Multi-Head Latent Attention (MLA) et BEAUCOUP (sérieusement, beaucoup) d’optimisation matérielle »,

DeepSeek avait déjà introduit la MLA dans la version v2 de son modèle en juin 2024. Pour le MTP, « l’idée de base, c’est qu’un modèle GPT génère un token à la fois, avec cette technique DeepSeek arrive à générer plusieurs tokens à la suite, c’est aussi une des raisons pour lesquelles ils sont plus rapides », explique Pierre-Carl Langlais.

Une innovation due aux restrictions américaines

Mais, leur recherche sur l’optimisation matérielle qui permet l’efficacité de leur modèle doit sans doute beaucoup au fait qu’ils aient notamment dû faire face à un manque de puces H100 de NVIDIA à cause du blocus américain. Mais impossible de savoir ce qu’il en est exactement, d’autant que la Chine est très discrète sur le sujet. Elle ne participe par exemple plus au classement Top500 mis à jour deux fois par an.

• Hardware

  Top500 : trois supercalculateurs exaflopiques, la Chine reste aux abonnés absents

  Hardware

  Mardi 19 novembre 2024 à 14h30 19/11/2024 14h30

  6

Ils se sont donc posé la question de comment faire sans et ont élaboré une architecture capable d’entrainer le modèle sur des puces NVIDIA H800. « C’est comme des puces H100 mais seulement, elles sont bridées, notamment dans la connexion entre les GPU », nous détaille Pierre-Carl Langlais. « Concrètement, lorsqu’on fait des entrainements de modèles à grande échelle, on connecte beaucoup de GPU », ajoute-t-il, « en utilisant Jean Zay pour entrainer notre modèle à Pleias, nous avons connecté 192 GPU. Et il y a un gros enjeu d’ingénierie sur ce sujet ».

En utilisant des H800, il est donc beaucoup plus difficile d’échanger des données d’un GPU à l’autre. « Du coup, DeepSeek a travaillé sur l’échange de données entre les GPU en allant à très bas niveau et ont réussi à optimiser considérablement l’inférence, c’est-à-dire, le temps mis pour générer les tokens ».

Raisonnement sur la meilleure réponse générée

Ensuite, comme o1, DeepSeek-R1 utilise l’apprentissage par renforcement (reinforcement learning, en anglais) pour améliorer ses réponses et y ajoute une couche de raisonnement (reasoning, en anglais). « Avec le reinforcement learning, le modèle va générer deux réponses et on va prendre la meilleure. Avec le reinforcement learning with reasoning, on demande au modèle de justifier pourquoi il arrive à tel résultat et de changer la justification jusqu’à ce qu’il tombe sur un bon résultat », simplifie Pierre Carl Langlais, « c’est extrêmement pratique pour tout ce qui est mathématique ».

« Ce qui est assez révolutionnaire, c’est qu’ils ont demandé ensuite au modèle de s’évaluer lui-même. Le modèle génère plein d’essais, un peu comme un étudiant qui pratique. Après, il évalue ce qu’il a fait et dit si c’est bon ou pas et une boucle d’amélioration est créée, un peu comme ce qu’avait fait DeepMind avec AlphaGo en l’entrainant contre lui-même », nous explique le chercheur, qui suppose qu’OpenAI a fait la même chose pour o1, sans qu’on puisse le savoir puisque l’entreprise américaine n’a pas publié sa recherche.

« On se rend compte que cette méthode est généraliste et on peut se servir du modèle aussi bien pour des maths que pour de l’écriture créative ou de la traduction », conclut Pierre Carl Langlais.

En fait, l’entreprise chinoise a sorti deux versions de son modèle se basant sur l’apprentissage par renforcement : DeepSeek-R1-Zero et DeepSeek-R1.

DeepSeek-R1-Zero, qui s’adresse plus au milieu de la recherche, ne s’appuie pas du tout sur du réglage fin supervisé (supervised fine-tuning, SFT) mais seulement sur ce nouveau système. « C’est un modèle qui fonctionne mais qui est assez bizarre car les chaines de raisonnement sont un peu contre-intuitives », commente Pierre-Carl Langlais, « ce qui rappelle encore AlphaGo. D’un point de vue recherche, c’est peut être ce qui est plus prometteur ». DeepSeek-R1 est plus hybride et utilise plusieurs phases de reinforcement learning et de SFT.

Le chercheur insiste sur le fait que les laboratoires chinois comme DeepSeek ou Alibaba itèrent assez vite et « sortent un ou deux papiers par mois et des modèles tout le temps. Ils ont aussi la meilleure organisation pour entrainer des modèles avec vraiment un laboratoire financé par un hedge fund sans avoir de levée de fonds à faire et des projets commerciaux à sortir ».

Rappelons quand même que DeepSeek est une entreprise chinoise, ce qui a des répercussions sur la génération de ses modèles puisqu’on peut constater une censure concernant les sujets de Taïwan, de la répression de la place de Tian’Anmen en 1989 ou Xi Jinping.