Copilot c’est bien (à condition de conduire en ligne droite)
Et de lui mettre un peu de T@lc sur les fs
Il n’y a pas si longtemps, il fallait impérativement avoir du cloud pour vendre sa solution. Ensuite ce fut le tour de la blockchain, et maintenant voilà le tour de l’intelligence artificielle, ou IA*. Github propose une aide au développement pour la somme modique de 10 euros par mois, avec le premier mois gratuit, ce dont nous allons profiter et vous en faire profiter.
Installons notre copilote
Nous aurions voulu passer les menus détails d’obligation de saisir une carte bancaire, mais quand même : première carte refusée après avoir validé la transaction d’enregistrement (une simple demande d’autorisation sans débit) sur l'appli bancaire adéquate.
Par chance, nous disposions d’une deuxième carte. Résultat : négatif. Ne nous énervons pas et contactons le support. La réponse reçue était un extrait de la FAQ sur le sujet, donc aucun intérêt. Finalement la première carte finira par marcher sans que nous comprenions pourquoi (et sans avoir rien fait). Ça commence bien.
Le contexte de notre programme
Pour évaluer correctement les possibilités de l’outil, nous sommes partis sur une idée de programme un peu complexe : réaliser un inventaire des ressources détenues sur un compte AWS, c’est-à-dire lister les instances EC2, les buckets S3 et surtout l’ensemble de ce qui est souscrit à un moment donné, dans toutes les régions, ce qui peut être utile pour mieux gérer son budget.
Commentaires (11)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousAujourd'hui à 11h58
Aujourd'hui à 12h46
Aujourd'hui à 12h53
Quand j'avais expérimenté GitHub Copilot + Chat l'année dernière, j'étais arrivé à la conclusion que l'outil ne sert à rien si l'utilisateur ne sait pas ce qu'il fait. J'avais volontairement utilisé un projet en Javascript (je n'y connais rien dans ce langage), l'outil pissait du code, ça marchait, mais dès qu'il fallait creuser c'était foutu.
Sur le point du contexte, mon test n'avait été fait que via VSCode. Quand je faisais un RAZ de celui-ci, Copilot Chat repartait de zéro. Et c'était très relou car il s'était mis à réécrire toutes les variables.
À l'inverse, sur un langage que je connais mieux comme Python, c'était un bon assistant parce que je savais quoi demander et je pouvais corriger ses petites erreurs.
Aujourd'hui à 13h43
Quand je me suis lancé dans le développement de mon extension en js, j'ai adoré travailler avec Copilot : un moteur de recherche rapide et circonstancié, mais sans vision globale.
Du coup je l'utilise surtout pour les grandes lignes de chaque fonction, debuguer et affiner les détails, mais pas pour l'architecture globale.
Jamais je n'aurai pu avancer autant sans ça 😳
Modifié le 27/11/2024 à 14h12
Il y a quelques années c'était impensable.
Copilot est le moins bon des assistants de programmation de mon expérience. Il sort rarement qqchose d'utile, il ne propose fréquemment aucune complétion même quand la suite est évidente (ça fait perdre du temps à attendre la complétion qui n'arrive pas) etc. En passant en mode conversation on repère vite qu'il est surtout optimisé pour réduire les couts.
J'ai de meilleurs résultats avec Gemini, même si ça n'est pas encore au niveau de ce que ça pourrait être à mon avis, même en restant avec une architecture de type LLM.
Sinon, Claude 3.5 (https://claude.ai/) de Anthropic est impressionnant, avec un niveau d'intelligence comparable à o1 (le dernier de OpenIA) mais en plus rapide. On peut facilement le configurer comme assistant dans vscode.
Claude est le seul assistant à m'avoir généré le code d'un petit jeu fonctionnel dès le premier essai à partir d'une simple description.
Les autres sortent un code vaguement crédible mais qui ne fonctionne pas du premier coup.
Aujourd'hui à 14h21
Pensant déjà à celui qui va lire mon code (CàD, le moi du futur principalement), j'a tendance à expliquer ce que je fais en commentaire. Cette façon de faire fonctionne bien avec Copilot, qui "sait" ce que je veux faire et va me proposer une première solution. Généralement, je n'ai rien à changer. Souvent il manque des trucs, j'accepte une partie du code (avec ctrl+flèche droite), je corrige, et me repropose une nouvelle suite en tenant compte des modifications. D'autre fois, mon commentaire est ambigu, et la réponse est totalement à côté de la plaque, c'est finalement une bonne idée de modifier le commentaire (le moi du futur est surement quelqu'un de très con, si Copilot n'a pas compris, il ne comprendra surement pas). Autre point, c'est que maintenant, écrire la documentation d'une fonction est vraiment utile, si c'est assez bien écrit, il va écrire un code qui sera une bonne base (et en plus, il t'aide à rédiger la doc).
Mais de manière générale, sans même avoir à écrire des commentaires sur ce que l'on veut faire, Copilot va très vite déduire ce que tu cherches à faire (si tu ne nommes pas toutes tes fonctions et variables avec des "foo", "bar" "toto", "titi", "tata"...) et va essayer de proposer les prochaines lignes de code qui ne tombent généralement pas bien loin de ce que tu allais écrire.
De plus, il est bon pour découvrir des sortes de motifs, et va vite proposer l'autocomplétion pour des codes chiants et rébarbatifs.
Il n'est pas sans défaut, et parfois il se borne à écrire ce qu'il a choisi d'écrire.
Aujourd'hui à 14h22
Je l'utilise avec PHPStorm (pour le PHP et pour le Bash)
Franchement je pourrais difficilement me passer de Copilot maintenant que j'y suis habitué. Je produit beaucoup plus vite.
Bien sur ce n'est pas parfait mais l’augmentation de la productivité est bien là.
En bonus il me sort parfois une méthode / fonction etc. à laquelle je n'aurai pas pensé et ça c'est vraiment chouette car du coup j'ai l'impression de m'améliorer.
J'utilise depuis peu le Chat pour lui poser des questions plus généraliste et clairement le gain de temps est également sensible par rapport à d'interminable recherche Gogole.
Modifié le 27/11/2024 à 15h59
Son plus gros défaut c'est de ne pas savoir s'adapter même quand on lui donne des documentations à jour :
- Il remplace systématiquement les @if par *ngIf en expliquant que le problème est là.
- Il ne sait pas que les composants sont maintenant standalone par défaut et du coup les déclare au lieu des les importer.
- Il met des virgules à la fin des lignes même si inutile (syntaxe dégueux des dev javascript !).
- Impossible d'avoir de l'aide sur des fonctionnalités récentes comme ZoneLess, les signaux ou OnPush en Angular. Là je galère à passer à Jest car je dois le basculer en mode ESM et Copilot ne connait que les syntaxes obsolètes.
- En Python, il reste un adepte du dict alors que c'est obsolète depuis longtemps déjà.
Son second plus gros défaut c'est cette tendance à s'enfermer dans une solution fausse sans jamais sans sortir, à pondre du code 100% identique alors même qu'il dit qu'il a modifié des choses.
D'ailleurs de ce côté là, la nouvelle fonction d'écriture directe dans le code existant permet très vite de savoir s'il fait le con. Juste dommage qu'il ne puisse trouver tout seul les fichiers qui lui manque quand il en a besoin alors qu'ils sont importés dans le code, et qu'en plus, il réécrive tout le code de chaque fichier modifié au lieu de seulement là où c'est nécessaire.
Bref, il peut beaucoup aider comme parfois faire perdre un temps fou avec des envies de lui foutre des baffes !
Aujourd'hui à 15h55
Aujourd'hui à 15h58
Et comme il a été dit, il semblerait que ça ne purge pas tout.
Aujourd'hui à 16h08
Après, l'article ne donne pas les conditions du test.