Apertus. Si comme moi, vous n’avez pas fait de latin, ça veut dire « ouvert » (comme dans apéro). Ici, les chercheurs suisses des Écoles polytechniques fédérales de Zurich et de Lausanne ont voulu afficher leur différence avec les modèles qui dominent le marché. Car, si la définition de l’IA ouverte divise encore le milieu, Apertus semble l’être particulièrement.

Un modèle qui se veut ouvert et respectueux des auteurs

Son objectif, selon nos confrères suisses du Temps : « offrir une alternative suisse, souveraine, aux modèles d’IA américains, chinois, voire européens ». Mais dans leur « rapport technique » [PDF], les chercheurs qui ont travaillé sur Apertus mettent aussi en avant le respect des auteurs et la volonté de proposer un modèle plus multilingue que les autres.

« Nous ne pouvons pas accepter que les bases de l’IA, si puissante, soient entre les mains d’une faction de multinationales », explique Antoine Bosselut, directeur du Laboratoire de traitement du langage naturel à l’EPFL, au journal Le Temps. En décembre 2023, les deux écoles polytechniques suisses ont donc créé la Swiss AI Initiative en s’appuyant aussi sur le Swiss National Supercomputing Centre. Celui-ci héberge le supercalculateur Alps composé, entre autres, de plus de 10 000 GH200 de NVIDIA.

Apertus est disponible en deux versions (8 milliards et 70 milliards de paramètres) sur Hugging Face sous licence Apache 2.0. Les chercheurs précisent que leur corpus de textes de pré-entraînement comme de post-entrainement « a été compilé uniquement à partir de données web, en respectant le fichier robots.txt non seulement au moment de l’exploration (janvier 2025), mais aussi en appliquant rétroactivement les préférences d’exclusion de janvier 2025 aux données web extraites lors d’explorations précédentes ». L’idée est d’être réellement conforme à l’AI Act européen et aux réglementations similaires, expliquent-ils.

Développer encore un peu plus le multilinguisme

Apertus a aussi été créé en utilisant, pendant l’entrainement, un mécanisme qui bloque la régurgitation des verbatims des textes utilisés pendant l’entrainement. Ainsi, les chercheurs évitent les éventuelles accusations de plagiat. Les chercheurs suisses ont voulu aussi se démarquer des modèles dominants en poussant autant que possible leur modèle vers un maximum de langues. Ainsi, leurs données d’entrainement contiennent des textes de 1 811 langues et 40 % ne sont pas anglophones. S’ils saluent les effort de leurs confrères qui ont créé les modèles ouverts BLOOM (sorti en 2022), Aya ou Qwen3, ils soulignent qu’Apertus a été entrainé sur 10 fois plus de langues que ces trois modèles.

• Sciences

  BLOOM : l’ambitieux modèle de langage de l’open science

  Sciences

  Mardi 18 octobre 2022 à 14h58 18/10/2022 14h58

  6

Apertus ne joue pas au jeu du plus gros modèle possible. Rappelons qu’un modèle comme DeepSeek V3 a 685 milliards de paramètres. Mais, depuis quelque temps, on sait que cette course au volume commence à montrer ses limites. Apertus n’est pas multimodale, non plus. « Nous jouons dans une autre ligue, avec un modèle qui possède d’énormes qualités en termes de transparence, d’ouverture et de fiabilité. Et nous ne cesserons d’améliorer Apertus », assure Antoine Bosselut à nos confrères du Temps.

Pour les fonctionnalités de chat, le modèle peut être testé ici, sur une interface mise en place par le projet à but non lucratif Public AI Inference Utility.