Il n’y a pas si longtemps, il fallait impérativement avoir du cloud pour vendre sa solution. Ensuite ce fut le tour de la blockchain, et maintenant voilà le tour de l’intelligence artificielle, ou IA*. Github propose une aide au développement pour la somme modique de 10 euros par mois, avec le premier mois gratuit, ce dont nous allons profiter et vous en faire profiter.

Installons notre copilote

Nous aurions voulu passer les menus détails d’obligation de saisir une carte bancaire, mais quand même : première carte refusée après avoir validé la transaction d’enregistrement (une simple demande d’autorisation sans débit) sur l'appli bancaire adéquate.

Par chance, nous disposions d’une deuxième carte. Résultat : négatif. Ne nous énervons pas et contactons le support. La réponse reçue était un extrait de la FAQ sur le sujet, donc aucun intérêt. Finalement la première carte finira par marcher sans que nous comprenions pourquoi (et sans avoir rien fait). Ça commence bien.

Le contexte de notre programme

Pour évaluer correctement les possibilités de l’outil, nous sommes partis sur une idée de programme un peu complexe : réaliser un inventaire des ressources détenues sur un compte AWS, c’est-à-dire lister les instances EC2, les buckets S3 et surtout l’ensemble de ce qui est souscrit à un moment donné, dans toutes les régions, ce qui peut être utile pour mieux gérer son budget.

D’où vient la complexité du traitement ? Du multithreading pour optimiser le temps d’exécution, et de la généricité des fonctions pour ne pas réécrire de code à chaque ajout de ressource à inventorier. Cela implique l’appel de fonction avec un nom variable, des résultats aux appels d’API de structure similaires en apparence, mais différentes car tantôt en liste, en dictionnaire, en tuple, etc.

Demandons quelque chose de simple

Première tentative : nous partons d’un programme déjà bien avancé, et demandons à Copilot une petite modification. Dans notre code, il existait déjà une fonction que retournait la liste des régions AWS, et nous avons demandé à Copilot de l’ajouter dans notre fonction principale d’inventaire.

Voici sa réponse :

La réponse fut de créer une fonction à cet effet, écrite correctement, mais nous ne voulions pas simplement utiliser celle qui existait déjà. Copilot a ajouté cet appel pour incorporer cette liste dans le résultat final, mais en ajoutant une fonction en doublon avec la nôtre. Il a fallu le reprendre :

Dommage. Autre travers : il ne lit pas dans les pensées. Nous lui avions demandé, via le prompt, d’écrire la liste des régions. Dans la fonction (celle en doublon qu’il a créé), il n’a donc écrit… que la liste des noms de régions, et non l’ensemble du JSON retourné par AWS. Il n’anticipe pas le fait qu’on puisse en avoir besoin, et a donc réduit le résultat en retour en conséquence.

C’est exactement ce qui a été demandé. Pour avoir le JSON complet, il faut lui demander. Un peu trop zélé, Copilot... Un codage plus simple eût été :

On sent bien qu’il va falloir être précis dans ce qu’on va demander à notre ami.

On tourne parfois en rond

Il suffit quelques fois d’une demande a priori simple pour que notre assistant tourne en boucle. Probablement un problème de configuration de l’outil, mais cela montre bien qu’il faut être très attentif lors de l’utilisation des réponses : la sensibilité de l’outil peut rendre une réponse incohérente ou fausse, sans signe avant-coureur.

Ici, nous avons simplement demandé de déplacer des informations d’un fichier JSON vers un autre.

Pourtant, je vous rappelle qu’il s’agit de la version payante, donc on s’attendait à avoir une configuration plus adaptée et moins d’erreurs de ce genre.

Le bon et le moins bon

Il faut avouer que Copilot est bien utile dans certains cas, relativement simples malgré tout : générer la documentation (les docstrings), quelques commentaires (mais pas trop), des cas de tests, une correction ponctuelle. Dans notre cas, un JSON avait un nœud en double (en trop) mais dans un code qui commençait à être long, il l’a corrigé sans trop de souci, alors qu’une recherche avec des tests à la main eût été beaucoup plus longue.

Dans le moins bon, il faut se rappeler que le résultat est probabiliste : il y a donc de fortes chances que ça soit bon, mais il se peut aussi que ça soit faux. Et qui peut le vérifier ? Vous-même ! Dans ce qui est irritant, c’est sa propension à répondre strictement aux questions : en lui demandant une correction d’une fonction, Copilot nous a donné un bout de code à rajouter, et quand nous lui avons demandé juste après où commençait ce code (dans le sens : où faut-il l’insérer), il a répondu logiquement... en ligne 1. Car oui, tout code commence en ligne 1. Fallait y penser, non ?

Traduction en go : bonnet blanc et blanc bonnet

Histoire de voir les capacités de calcul et de logique de la chose, nous avons demandé à Copilot de transformer notre code Python en Go Lang. Malheureusement, l’IA a fait l’impasse sur de nombreuses parties du code, en la simplifiant, comme par exemple ici :

Il saute souvent la partie la plus complexe du code, celle qui demande le plus de logique d’implémentation. Autre souci : il a tendance à simplifier. Dans getClient, il aurait fallu avoir une fonction générique pour toutes les ressources AWS, Copilot a tout simplement écrit la fonction pour deux d’entre elles : ec2 et s3. Donc c’est loin de l’esprit du code que nous voulions, et ça n’est pas faute de lui avoir répété à plusieurs reprises.

Pour comparer les performances de Codex (la version optimisée du modèle GPT utilisée par Copilot), nous avons fait le test sur ChatGPT, basé lui aussi sur OpenAI. La tendance est la même :

Le code initial permettant de répondre à la demande n’était pourtant pas des plus complexes :

Difficile alors de comprendre l’apport de Copilot par rapport à un ChatGPT standard : le modèle optimisé Codex (utilisé par Copilot) n’apporte pas de grande amélioration ou de gain de qualité. C’est légèrement mieux sans être transcendant. Sur un code plus petit et moins complexe (un résolveur de Sudoku), la conversion a été correcte dès le premier essai, mais il semble que dès que la complexité augmente un tant soit peu, les limites sont atteintes.

Pour voir un exemple de conversion réussie sur un code Python, les deux répertoires sont ici :

• janiko71/sudoku
• janiko71/sudoku-go

Le programme en Go a fonctionné du premier coup. Pour le même exercice, GPT4 bloquait sur la fonction principale.

Quelques mots

Il ne faut pas tout jeter, bien sûr, mais il faut par contre bien savoir ce que l’on fait, comme souvent, et surtout connaître les limitations de l’outil. Or ce n’est que par la pratique qu’on peut y arriver, car sa complexité rend impossible l’appréhension complète du modèle et de son comportement.

Cela nous amène à un autre point : évitez de lui demander un énorme bout de code avec plusieurs exigences fonctionnelles, car il suffit que vous formuliez une seule d’entre elle de façon trop imprécise pour que Copilot génère ce qu’il comprend et non ce que vous pensez : en gros, il n’écrit que ce que vous demandez (ce qui est normal après tout) ; or il est bien difficile d’être parfaitement logique, cohérent et juste du premier coup. Et plus vous en demanderez, plus il y aura de risque d’erreurs et donc de vérifications à faire pour s’assurer du code produit. De ce fait, les modifications demandées devront être facilement vérifiables, donc relativement limitées. C’est dommage alors qu’on pensait que le contexte était mieux géré, sans qu’on ait à repréciser à chaque fois ce qui a été fait ou ce que l’on a demandé.

Néanmoins, il faut reconnaître qu’utiliser Copilot vous évitera de longues heures de recherche pour savoir quelle bibliothèque utiliser, quelle syntaxe employer, ou pour préparer un cadre avec des formules répétitives : mettre en paramètre telle ou telle chose, sortir une structure dont les valeurs sont codées « en dur » dans un fichier, inclure une liste de données issues de documentation externe (ici la documentation de boto3 qu’il n’a même pas été besoin de mentionner), etc.

Ce qu’il n’a pas été possible de vérifier dans ce test, c’est la profondeur et la persistance du contexte de l’IA. Même en générant un nouveau chat, Copilot garde parfois des instructions qu’on aurait voulu qu’il oublie. En un mot, c’est une aide précieuse qui ressemble à un « stagiaire zélé mais stupide » : il est de bonne volonté, capable de faire des choses efficaces et rapidement, mais il lui manquera toujours l’habileté, la connaissance, et le contexte suffisant pour produire exactement ce qu’on souhaite.

Mais attention : il prend parfois des libertés qui lui semblent logiques, mais qui ne correspondent pas à ce qu’on a demandé. Il peut par exemple considérer qu’il doit générer un fichier de test, ou appliquer une correction, alors que ça n’est pas le cas : il ajoute des /fix ou /test dans le prompt de façon intempestive. Copilot est donc une aide, un peu mieux calibrée qu’un GPT standard, mais auquel il manque toujours une bonne et solide logique.

* Il m’est assez pénible de voir de l’IA partout au boulot, puisque j’en ai une à la maison : ma femme s’appelle… Ia. Elle est d’origine géorgienne (de l’ex-URSS) et là-bas ce doux prénom relativement courant signifie violette.