Microsoft publie son modèle de langage Orca 2 en open source

Même si Microsoft est davantage connue depuis deux ans pour ses investissements massifs dans OpenAI, la société n’en publie pas moins ses propres modèles.

C’est le cas avec Orca 2, suite du modèle original. Il est conçu pour être un plus petit modèle de langage que les LLM régulièrement sous les feux des projecteurs (les GPT d’OpenAI en tête), mais Microsoft assure que le nouveau venu est capable de répondre à des questions complexes.

Il est proposé en deux tailles, avec 7 et 13 milliards de paramètres, et aurait été entrainé « sur des données synthétiques adaptées et de haute qualité ». Les performances obtenues seraient comparables à celles de modèles « 5 à 10 fois plus grands ». Sur des modèles de taille équivalente, les résultats obtenus dans les tests de performances montrent qu’Orca 2 dépasserait « largement » ses concurrents, même si Microsoft lui reconnait certaines limites.

Orca 2 est publié en open source.