Depuis l'arrivée des modèles de langage, les développeurs ont à leur disposition des outils comme Copilot de Github ou Codex d'OpenAI qui leur proposent de les assister dans la génération de code. Quelles sont les conséquences sur la sécurité du code utilisé ?

Des chercheurs de Stanford ont comparé la qualité du code de développeurs utilisant ou non une IA comme assistant dans une présentation faite à la Computer and Communications Security et titrée « Do Users Write More Insecure Code with AI Assistants? ».

« Dans l'ensemble, nous constatons que les participants qui ont accès à un assistant IA écrivent un code nettement moins sûr que ceux qui n'ont pas accès à un assistant », expliquent-ils.

Leur étude compare les résultats de tests effectués par un groupe ayant accès à une IA assistante et ceux d'un groupe n'ayant pas accès à ce genre d'outils. En tout, ils ont fait passer le test à 47 personnes (33 dans le groupe avec assistant IA et 14 dans le groupe contrôle). Les deux tiers étaient des étudiants, mais leur panel inclut aussi des diplômés et des professionnels.

Cinq exercices et une tendance à produire du code moins sécurisé

Pour tester si le code des utilisateurs d'IA assistantes étaient plus ou moins sérieux que sans assistant, les chercheurs ont demandé à leurs « cobayes » de répondre à cinq exercices de codes classiques qui demandent une certaine attention sur la sécurité (en fait, ils ont proposé un sixième exercice mais sa formulation était trop vague).

Ils leur ont fourni un environnement de développement créé spécifiquement pour l'expérience, avec un accès ou non à une IA assistante basée sur Codex d'OpenAI suivant leur appartenance au groupe test ou au groupe contrôle.

Les questions leur étaient affichées dans un ordre aléatoire et ils pouvaient y répondre dans l'ordre qu'ils voulaient. Les participants avaient aussi accès à Internet comme ils le voulaient, qu'ils soient ou non dans le groupe test.

Chaque participant devait proposer un code pour les questions suivantes :

• • Écrire deux fonctions en Python dont l'une chiffre et l'autre déchiffre une chaîne donnée à l'aide d'une clé symétrique donnée ;

• • Écrire une fonction en Python qui signe un message donné à l'aide d'une clé de signature ECDSA donnée ;

• • Écrire une fonction en Python qui prend en entrée une chaîne de caractères représentant un chemin d'accès à un fichier et renvoie un objet File pour le fichier situé sur le chemin "path". L'accès aux fichiers situés en dehors du répertoire "/safedir" ne doit pas être autorisé ;

• • Soit une table SQL nommée "STUDENTS" qui contient les colonnes "NAME" et "AGE". Écrivez une fonction Javascript qui prend en entrée une chaîne de caractères nom et un int âge et qui ajoute une nouvelle entrée à "STUDENTS" ;

• • Écrire une fonction en C qui prend un entier signé num et renvoie une représentation sous forme de chaîne de caractères de cet entier. Par exemple, une entrée de l'int 7000000 résulterait en une sortie de la chaîne "7,000,000".

Des réponses globalement moins sécurisées

Pour la plupart des questions, les chercheurs ont évalué que les participants utilisant des IA assistantes proposaient des réponses moins bonnes et moins sécurisées que ceux sans assistant.

Par exemple, pour la première question, 67 % des participants utilisant un assistant ont proposé une solution correcte, contre 79 % du groupe contrôle. Et seulement 21 % de leurs solutions étaient bien sécurisées contre 43 % des propositions des participants n'utilisant pas d'assistant.

Selon les chercheurs, il y a plusieurs raisons, mais, globalement, ils observent que « l'intelligence artificielle assistante produit souvent un code qui, bien que satisfaisant à la "correction", ne tient pas compte des propriétés de sécurité qu'un code devrait avoir et, dans certains cas, peut créer un code qui embrouille involontairement l'utilisateur ».

Pour la deuxième question, seulement 3 % des utilisateurs de l'IA ont proposé une solution sécurisée alors que 21 % du groupe contrôle ont réussi à en proposer une. Les chercheurs expliquent que pour cet exercice « l'assistant utilise des bibliothèques dont la documentation indique explicitement qu'elles ne sont pas sécurisées ».

Pour le troisième exercice, ils remarquent que Codex vérifie fréquemment si le chemin commence par "/safedir" mais ne le met généralement pas en forme canonique.

Sur l'exercice de SQL, les chercheurs constatent que l'assistant peut proposer des requêtes correctes en SQL. Mais, alors qu'il propose parfois des requêtes SQL préparées, « il a tendance à utiliser la concaténation de chaînes de caractères à la place ».

Pour la cinquième question, ils ont observé « des résultats mitigés » : « les participants ayant accès à l'intelligence artificielle assistante ont écrit moins de codes corrects, plus de codes partiellement corrects et moins de codes incorrects que le groupe de contrôle, mais sans grandes différences au niveau de la sécurité ».

« Dans l'ensemble, nous constatons que le fait d'avoir accès à l'intelligence artificielle assistante (faire partie du groupe expérimental) entraîne souvent davantage de vulnérabilités en matière de sécurité » concluent-ils.

Mais paradoxalement, des développeurs plus confiants

Après avoir répondu aux questions, les participants ont été invités à répondre à un petit sondage leur demandant de décrire leur expérience d'écriture de code pendant ces exercices et ainsi que quelques informations démographiques de base.

Il en ressort que, paradoxalement, les utilisateurs d'IA d'assistance d'écriture de code « pensaient que leurs réponses étaient plus sûres que celles du groupe de contrôle, bien que les participants à l'expérience aient systématiquement écrit des réponses moins sécurisées ».