l’extension développée par OpenAI

L’expression n’est pas fondamentalement fausse, mais un poil maladroite. GitHub Copilot est issu un partenariat entre GitHub et OpenAI (avant même celui avec Microsoft) et le modèle de celui-ci est Codex. Codex est un modèle fine-tuned basé GPT-3 spécialisé pour produire du code informatique.

J’avais vu aussi cette info, et ça m’a fait mettre en perspective l’insistance de Microsoft pour vouloir nous le faire prendre. Sauf qu’en l’état, j’ai eu des retours très contrastés d’une expérimentation de GitHub Copilot par des devs à qui on a donné l’accès. Cela allait du “utile, efficace” à “j’ai perdu mon temps avec”. Et de ma fenêtre, pour moi l’actuel Copilot est une auto-completion de luxe. Je préfère largement ChatGPT.

Par contre, Copilot Chat est beaucoup plus intéressant (et je l’ai testé). Et vu les quelques présentations que j’ai pu avoir par MS ou GitHub sur celui-ci, l’intégration à la plateforme promet d’être intéressante. Mais clairement il sera pas à 10\(/19\) pour les personal et business accounts. Copilot Chat risque d’être plus cher je pense car vu la taille des contextes qu’il manipule, il doit coûter une blinde à l’usage.

Au sujet de l’intégration des diverse “Copilot” de Microsoft, je pense qu’ils tentent la carte de l’économie d’échelle en diluant et mutualisant l’usage des modèles pour espérer que ce soit un poil rentable avec du premium en soutien. Clairement, l’IA générative coûte encore très cher à faire tourner à l’échelle (suffit de voir le pricing côté Azure Open AI pour s’en rendre compte - concernant les tokens considérez que 1000 tokens c’est environ 750 mots anglais)).

(quote:2162476:127.0.0.1)
Je ne suis pas inquiet. MS présentera Copilot aux entreprises comme un moyen d’être plus performantes… Ce que les entreprises traduiront par pouvoir réduire leurs équipes de dev sans perdre en productivité. Et hop.

Pour le coup, c’est pas le discours qu’ils portent.

Merci pour le retour d’XP. Je pense que pour des devs expérimentés il peut effectivement avoir un intérêt dans sa version actuelle car il fait gagner du temps. Par contre pour l’assistance à la conception et la fourniture d’un guide, typiquement j’ai vu celui de Copilot Chat qui est similaire à ChatGPT.

Typiquement, il propose lui-même une trame où un peu comme Bing Chat, il propose les questions suivantes. Et sur le projet de test que j’avais fait, elles étaient plutôt logiques et avançaient d’une manière itérative graduelle.

Je vois aussi ce genre de travers, et pour le coup je ne pense pas que ce soit les liés aux outils. Ces problèmes d’organisation sont purement humains et issus de manager qui considèrent l’IT comme un coût et non un investissement.

Je reviens cependant sur ma réponse qui était un peu trop simpliste : Oui, Microsoft te vend GitHub Copilot comme un outil de productivité et te permet même d’estimer un ROI avec une matrice de calcul (et grosso merdo, il revient à environ 0.5 ETP dans les estimations que j’ai pu avoir). Mais in fine, ils ne vendent pas ça en tant que remplaçant des devs, c’est même le discours inverse et globalement celui qu’ils ont sur l’IA (et je le trouve plutôt cohérent malgré le bullshit ambiant usuel) mais bien comme outil d’accompagnement.

Typiquement, je considère le Copilot actuel comme peu utile de ma fenêtre car je ne suis pas dev. J’ai du mal à l’utiliser et ne vois pas en quoi il m’aide par rapport à mes activités. Et ayant testé sa version Chat, clairement un non dev ou encore un junior ne sauront pas l’utiliser. Et dans tous les cas, Copilot reste sujet aux limitations des LLM. Typiquement, si on travaille dans une techno récente, il risque de n’être d’aucune aide car inconnue ou méconnue de son modèle.

Bref, remplacer un dev par Copilot, c’est comme remplacer un dev par du copier/coller Stackoverflow : merde absolue garantie.

Pour faire un autre parallèle avec un métier qui était censé disparaître, celui d’admin sys avec le Cloud. C’était annoncé en grande pompe un peu partout. Au final on a toujours des admin système … Ils ont juste été renommés avec un nom un peu plus fancy (“cloud ops”, “sys ops”, ou encore mouton centipede “devops”, et désormais “platform engineer”).

Au même titre que j’ai aussi connu l’externalisation à outrance de l’IT où on te faisait comprendre que t’étais bien gentil et mignon, mais qu’un indien c’était moins cher. Les clients que j’ai vu faire ça sont revenus à réinternaliser car ils n’avaient plus aucune connaissance de leur métier. Je dis bien de leur métier, même pas de leur IT. Quand un service IT compte 95% de presta, c’est déjà un problème en soit. Sauf que comme l’IT est un centre de coûts et non un investissement, 95% de presta c’est la possibilité de virer 95% de son personnel sans être emmerdé en cas de difficulté financière. C’est en ce moment le cas chez plusieurs grandes entreprises dans le Nord.

Et tout ça, c’est que des décisions de managers court-termiste, là dessus on est d’accord. Raison pour laquelle je considère que l’IA ne changera rien à ces décisions absurdes, elles auraient eu lieu de toute façon peu importe le nouveau truc à la mode.

Donc dans tous les cas, oui, l’IA va transformer et réduire la voilure de certains métiers. C’est évident et je l’ai déjà dit ici plusieurs fois et on a vu des articles en ce sens. Mais Copilot remplacer un dev, non, pas dans son état actuel.

Surtout quand on parle de modèles pre-trained, qui sont donc incapables de réellement créer de toute pièce et ont besoin d’une énorme quantité et variété de données pour être efficaces. Les études sur le sujet avaient justement évoqué la dégénérescence des LLM lorsqu’ils sont entraînés de manière consanguine. Donc en l’état actuel de l’IA générative, elle ne peut clairement rien remplacer puisqu’elle entraînera le même résultat qu’une externalisation de son IT : perte de connaissance et compétence.