Meta publie son modèle LLaMa 2 en open source
Le 19 juillet 2023 à 06h52
1 min
Logiciel
Logiciel
Meta a annoncé le 18 juillet rendre son grand modèle de langage LLaMa 2 open source et gratuit d’utilisation, tant pour la recherche que pour les usages commerciaux.
L’annonce a été faite lors d’un événement organisé par Microsoft, rapporte The Verge, Meta soulignant le support d’Azure et évoquant un partenariat croissant avec l’entreprise. Qualcomm a par ailleurs annoncé travailler à rendre LLaMa accessible pour les ordinateurs et les smartphones d’ici 2024.
Meta déclare ouvrir LLaMa à des fins d’amélioration de la sécurité et de la transparence du modèle – l’approche est clairement inverse à celle adoptée jusqu’ici par OpenAI, qui a refusé d’ouvrir ses modèles pour des raisons de sécurité, selon son patron Altman.
Meta indique avoir soumis son modèle à des exercices de red team internes comme externes. L’entreprise fournit aussi des explications sur les paramétrages et les méthodes d’évaluation utilisés pour pallier les problèmes présents dans le modèle, ainsi qu’un guide d’utilisation et de développement responsable.
Le 19 juillet 2023 à 06h52
Commentaires (21)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 19/07/2023 à 08h13
Pour info, le dépôt Github est ici :
GitHub
Le 19/07/2023 à 08h52
Question pour les pros IA : pourquoi LLaMa 2 n’est pas intégré à Pytorch ?
Le 19/07/2023 à 10h29
parce que :)
Le 19/07/2023 à 12h34
Autre question : ça apporte quoi à Meta de mettre ça utilisable par tous gratuitement ?
Est-ce que tout est disponible pour en faire un chatbot, par exemple ?
Le 19/07/2023 à 13h27
oui, tu as un exemple de script ici :
et là :
Le code n’a pas besoin de plus que ça. C’est pratiquement que du pytorch. J’ai vu qu’ils ont juste quelques couches custom (un transformer maison), mais c’est tout.
Il manque cependant les paramètres (les valeurs apprises”) dans le git, mais ils sont justement accessibles en téléchargement via le script
download.sh. Je n’ai pas tenté de télécharger, car 7 à 70 milliards de paramètres, c’est quelque Go…J’ai rapidement regardé, même si le code n’y est pas, techniquement, il ne manque pas grand-chose pour apprendre de novo si tu as la base de données d’apprentissage.
Le 19/07/2023 à 21h10
Merci. 😘
Le 19/07/2023 à 12h44
Ca doit pas être le bon github, il y a juste 4 fichiers py
Le 19/07/2023 à 13h34
Est-ce donc vraiment de l’open source si il faut s’inscrire et demander le droit pour avoir accès aux données nécessaires pour utiliser le programme ?
Le 19/07/2023 à 13h57
Open-source ne signifie pas que tout le monde peut y accéder. Open-source signifie que celui qui reçoit dispose des 4 libertés fondamentales (étudier, exécuter, modifier, distribuer).
Après, dans le cas des algorithmes d’IA, il faut distinguer 2 choses :
Le premier est souvent libre. C’est souvent plus compliqué pour le second. J’avoue que je n’ai pas regardé en détail les clauses de la licence de LLima (qui est une licence sur mesure), mais j’ai cru voir des restrictions quant à son utilisation, donc, incompatible avec la définition d’une licence libre ou open-source. Elle semble toutefois s’en approcher pas mal malgré tout.
Le 19/07/2023 à 14h51
J’ai vu en particulier une clause qui dit que si tu as plus de 700 millions d’utilisateurs un mois donné, tu ne peux plus utiliser le produit de façon commerciale et que tu dois demander une licence à Meta qui peut te la refuser.
Le reste me semblait OK.
Le 19/07/2023 à 15h28
La clause indiquant que Llama ne peut pas être utilisé pour entrainer / améliorer d’autres modèles est aussi limitante et empêche de facto de considérer la licence comme open-source.
Le 19/07/2023 à 15h32
Ah oui, je l’avais oubliée, celle-là.
Le 19/07/2023 à 15h39
Il y en a peut être d’autres. J’avoue que je n’ai que survolé la licence
Le 19/07/2023 à 14h10
Si j’ai bien compris, les données pour refaire un apprentissage depuis zéro ne sont pas disponibles, mais tout est bien là pour utiliser le modèle déjà entrainé.
Il est aussi possible de faire du “fine-tuning” sur le modèle existant pour le spécialiser.
La première génération du modèle avait fuitée de manière accidentelle et il n’était pas possible de l’utiliser pour des projets commerciaux, alors que c’est possible avec cette version (avec tout de même des contraintes).
Le 19/07/2023 à 14h43
Ce serait bien un jour un récap sur ces sujets un jour sur Nxi ! Sauf si je l’ai loupé et qu’il existe :)
Pour ma part je ne sais pas ce que c’est LLaMa, ni trop LLM, ni pytorch que je vois dans les commentaires. Je suis un peu largué sur le sujet
Le 19/07/2023 à 15h45
Le 19/07/2023 à 21h12
Le 20/07/2023 à 06h39
Merci !
Le 19/07/2023 à 17h38
Perso je différencie le modèle et l’algo. Le modèle étant ce qui a été produit par l’algorithme.
Le 19/07/2023 à 18h18
La licence LLAMA 2 COMMUNITY LICENSE AGREEMENT ne semble absolument pas libre.
Le 19/07/2023 à 23h03
Les paramètres qui viennent de l’apprentissage fait par Facebook ne sont que des données de travail, pas du code. Donc en soit, ce point là n’interdit pas l’open-source.
C’est le même principe qu’un moteur de jeu-video peut être open source sans que les jeux réalisés avec le soient, ou le noyau Linux qui est bien libre, même s’il ne sert a rien sans l’OS qui va avec.
Ça ne pose pas de problèmes au coté open-source ou libre tant qu’il n’y a rien qui empêcherait d’utiliser le logiciel avec ces propres données.
Par contre, comme d’autre l’ont fait remarquer, certaines restrictions d’usage me font dire que ça n’a pas vraiment l’air open-source/libre, juste que le code est accessible.