Cybersécurité : des utilisateurs d’IA générative spamment le bug bounty de cURL
logo de cURL
Le 05 janvier à 07h43
2 min
IA et algorithmes
IA
En matière de bug bounty et de rapports de vulnérabilité, le développeur principal de cURL, Daniel Stenberg, n’est pas content des effets de l’IA générative.
Sur son blog, le développeur explique avoir toujours reçu une bonne part de rapports inutiles, écrits par des gens qui cherchaient à se faire un peu d’argent facilement. En moyenne, Daniel Stenberg estime que deux rapports de sécurité reçus sur trois sont inutiles, et jusqu’ici, ils étaient aussi faciles à repérer et ignorer que des mails de spam.
Or, depuis l’avènement des modèles génératifs, il devient très simple pour les auteurs de ce type de travail de rédiger des rapports d’apparence beaucoup plus crédible qu’auparavant.
Pour cURL, cela signifie beaucoup plus d’heures passées à trier le bon grain de l’ivraie – et, en parallèle, du temps qui n’est pas passé à corriger des bugs ou développer de nouvelles fonctionnalités. L'affaire en rappelle une autre, dans le monde... de la presse.
En juillet, nous rapportions effectivement le cas de Neil Clarke, rédacteur en chef de la revue de science-fiction Clarkesworld, qui avait dû stopper un temps la réception de nouveaux textes pour faire face à l'afflux de soumissions de faible qualité, générées par IA.
Daniel Stenberg s’agace du problème, mais souligne aussi que l’IA est parfois utilisée pour des tâches légitimes : parmi les auteurs de rapports de sécurité, bon nombre ne sont pas anglophones de naissance, et s’aident dans certains cas d'outils d’intelligence artificielle pour traduire ce qu’ils souhaitent exprimer.
« C'est évidemment tout à fait normal et acceptable, écrit Daniel Stenberg. Les barrières linguistiques et culturelles sont bien réelles. » Techniquement, cela dit, ça empêche aussi de prendre la moindre détection de contenu généré par IA comme une alerte.
Le développeur conclut sur une ambivalence : il suspecte que des outils de repérage des productions peu qualitatives produites par IA générative seront peu à peu mis au point. Mais se demandent si ceux-ci ne risquent pas de faire aussi passer à la trappe des rapports qualitatifs, rédigés par des personnes non anglophones.
Le 05 janvier à 07h43
Commentaires (3)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 04/01/2024 à 20h41
Je lis par contre que l'utilisation de l'IA afin de passer la barrière linguistique et/ou culturelle est vu comme une bonne idée par Daniel Stenberg.
Il conseille aussi de simplement vérifier rapidement, humainement, ce que la sortie de l'IA générative donne, afin de rendre l'outil infiniment plus utile (en gros, éviter de spammer directement la sortie sans réfléchir). Cela semble évident, mais sera aussi naturellement fait par les utilisateurs de bonne foi… ce qui ne semble pas être le cas étudié.
Cette personne dit bien exactement l'opposé de ce que vous avancez : avec un minimum d'intelligence humaine dans le mélange, l'IA générative pourrait être un excellent allié à la soumission de rapports utiles.
La conclusion porte sur le parallèle fait avec les courriels indésirables, quand l'accessibilité le faible coût d'un outil renverse la charge du travail, et donc des coûts.
Le courriel indésirable ne disqualifie pas les courriels rédigés avec au moins un neurone actif.
La logorrhée générée automatiquement ne disqualifie pas les productions filtrée avec au moins un neurone actif.
Le 05/01/2024 à 13h41
Des gens utiliseraient des IA générative pour créer des documents, rapports, CV, devoirs de classe ?
Ca me parait incroyable cette histoire. Vous êtes certain ?
/s
Le 07/01/2024 à 16h30