Le nombre de paramètres et la taille de la fenêtre contextuelle des modèles de langage (LLM) prennent une place de plus en plus importante dans leur utilisation, notamment pour traiter des quantités énormes de documents et leur permettre d’augmenter leur acuité. Mais son utilisation intensive demande une quantité importante de mémoire. L’optimisation de la compression de ces informations devient primordiale.

On vous explique le nerf de la guerre : la quantification

La quantification vectorielle est une technique déjà utilisée pour cette compression. Mais jusqu’ici, celle-ci créait au fur et à mesure un « surcoût de mémoire ». Google a annoncé ce mardi 24 mars que ses chercheurs avaient justement mis en place une série d’algorithmes de quantification qui « répond de manière optimale » à ce problème.

De fait, ils avaient mis en ligne leur article sur la plateforme de prépublication scientifique arXiv dès le 28 avril 2025 et celui-ci était passé assez inaperçu. Dans leurs billets, les chercheurs de Google expliquent que leur article a été accepté pour présentation à la conférence scientifique ICLR qui se déroulera du 23 avril au 27 avril 2026 à Rio.

Il reste 81% de l'article à découvrir.

Déjà abonné ou lecteur  ? Se connecter

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Abonnez-vous