Granite : IBM lance son pavé dans la mare des modèles de langage pour la génération de code
IBM vient de publier une famille de huit nouveaux grands modèles de langage nommée Granite. Celle-ci a la particularité de se concentrer sur les tâches liées au code : générer du code, corriger des bugs, expliquer et documenter le code.
Les huit modèles (de 3 à 34 milliards de paramètres) sont distribués sous licence Apache 2.0. Dans leur article expliquant la création de ces grands modèles de langage, les chercheurs d'IBM indiquent qu'ils ont été entraînés sur les jeux de données de code Github Code Clean et StarCoderdata mais aussi « des dépôts de code publics sur GitHub et des problèmes signalés [ndt : issues en anglais] supplémentaires » dont le jeu de données n'est pas clairement connu.
Dans les tests de comparaison qu'ils ont effectués, les chercheurs montrent que le modèle Granite-8B devance ses concurrents « ouverts » :
À la fin de l'article sont listés les langages sur lesquels la famille Granite peut être utilisée :
ABAP, Ada, Agda, Alloy, ANTLR, AppleScript, Arduino, ASP, Assembly, Augeas, Awk, Batchfile, Bison, Bluespec, C, C-sharp, C++, Clojure, CMake, COBOL, CoffeeScript, Common-Lisp, CSS, Cucumber, Cuda, Cython, Dart, Dockerfile, Eagle, Elixir, Elm, Emacs-Lisp, Erlang, F-sharp, FORTRAN, GLSL, GO, Gradle, GraphQL, Groovy, Haskell, Haxe, HCL, HTML, Idris, Isabelle, Java, Java-Server-Pages, JavaScript, JSON, JSON5, JSONiq, JSONLD, JSX, Julia, Jupyter, Kotlin, Lean, Literate-Agda, Literate-CoffeeScript, Literate-Haskell, Lua, Makefile, Maple, Markdown, Mathematica, Matlab, Objective-C++, OCaml, OpenCL, Pascal, Perl, PHP, PowerShell, Prolog, Protocol-Buffer, Python, Python-traceback, R, Racket, RDoc, Restructuredtext, RHTML, RMarkdown, Ruby, Rust, SAS, Scala, Scheme, Shell, Smalltalk, Solidity, SPARQL, SQL, Stan, Standard-ML, Stata, Swift, SystemVerilog, Tcl, Tcsh, Tex, Thrift, Twig, TypeScript, Verilog, VHDL, Visual-Basic, Vue, Web-Ontology-Language, WebAssembly, XML, XSLT, Yacc, YAML, Zig.
Photo de Bernard Hermant sur Unsplash 
Commentaires