Les entreprises qui ont mis en place des IA génératives comme OpenAI, Meta, Anthropic, Mistral ou encore Amazon, Google et Microsoft ont besoin d'indexer des contenus sur le web en permanence pour entrainer leurs grands modèles de langage (LLM), récupérer les nouvelles informations afin que leurs outils soient capables de répondre aux demandes de leurs utilisateurs.

Un trafic difficile à gérer, même pour la fondation Wikimédia

Mais en venant en permanence sur les sites web, ils ajoutent du trafic important à leur bande passante, au point de saturer certains. La fondation Wikimédia a publié un billet pour expliquer à quel point ces robots ont un impact sur ses projets : « Notre infrastructure est conçue pour supporter des pics soudains de trafic d'origine humaine lors d'événements très intéressants, mais le volume de trafic généré par les robots scrapeurs est sans précédent et présente des risques et des coûts croissants ».

En effet, ces entreprises récupèrent ces contenus à l'aide de « crawlers », des robots d'indexation, ou plutôt ici de récupération de données. OpenAI a officiellement donné le nom de son robot, GPTBot, en aout 2023, suscitant immédiatement la réaction de RSF qui a rapidement invité « tous les médias à configurer leurs sites pour éviter qu’OpenAI ne récupère leur contenu gratuitement ». C'est ce qu'ont fait beaucoup de sites web.

Un blocage pas si efficace

Pour cela, il « suffit » de lister dans le fichier robots.txt de son site les robots dont on ne veut pas. Mais, comme l'ont démontré récemment des chercheuses, certains robots récupèrent des informations de sites qui, pourtant, les ont ajoutés dans leurs listes. De plus, l'outil d'IA générative de Microsoft, Copilot, utilise BingBot, le robot d'indexation du moteur de recherche de l'entreprise. Un site qui voudrait bloquer l'IA de Microsoft ne serait plus indexé dans le moteur de recherche Bing.

Et, comme on l'a vu récemment, certains sites peuvent être visités 2 millions de fois par un bot en un trimestre. Il est déjà difficile pour des infrastructures comme celles de la Fondation Wikimédia de faire face à cet afflux « artificiel » pour gérer sa bande passante, mais ça l'est encore plus pour des projets qui ont moins de moyens.

Certains expriment leur ras-le-bol

Plusieurs responsables de projets de logiciels libres se sont plaints du problème, expliquait récemment ArsTechnica. Le développeur Xe Iaso a, par exemple, exprimé son ras-le-bol en janvier face au crawler d'Amazon : « À la personne qui gère AmazonBot, veuillez ajouter git.xeserv.us à votre liste de domaines bloqués. Si vous connaissez quelqu'un chez Amazon, merci de lui transmettre ce message et de lui demander de le transmettre à l'équipe d'AmazonBot » alors qu'il avait radicalement bloqué tous les robots dans son fichier robots.txt.

TheLibre.News a aussi recensé plusieurs infrastructures de logiciels libres touchés par ce problème. Le GitLab des développeurs de KDE a, par exemple, été touché par des crawlers ayant des IP détenues par Alibaba, ce qui l'a rendu temporairement inaccessible. L'un des administrateurs systèmes du projet Pagure de Fedora a, lui aussi, constaté un afflux massif de robots de récupération de données venant du Brésil. Il explique avoir décidé de bloquer temporairement toutes les IP brésiliennes pour en venir à bout tout en sachant bien que ce n'était pas une solution de long terme.

Gergely Orosz, qui publie la newsletter The Pragmatic Engineer, explique sur LinkedIn que le site d'un de ses projets personnels qui déclinait a reçu récemment un trafic important « lorsque le crawler AI de Meta et d'autres bots comme Imagesiftbot ont commencé à crawler le site sans réfléchir : ça a poussé le trafic à plus de 700Go par mois » alors qu'il était aux alentours de 100Go par mois un peu avant.

« Le site est hébergé sur Render où 500Go/mois sont inclus, au-delà c'est 30 $ pour 100Go. Ce mois-ci, je paie donc 90 $ pour l'entrainement de ces LLM », commente-t-il. Et lui aussi pointe que « l'ironie est que les robots - y compris Meta !- ignorent manifestement le fichier robots.txt du site qui leur dit de "s'il vous plait, restez à l'écart" ».

Drew DeVault, le fondateur de la plateforme d'outils open source Source Hut, a publié un billet de blog le 17 mars dernier demandant aux entreprises d'IA génératives d' « arrêter d'externaliser [leur] coûts directement sur [lui] ». « Au lieu de travailler sur nos priorités à SourceHut, j'ai passé entre 20 et 100 % de mon temps à atténuer les crawlers LLM hyper-agressifs », s'y lamente-t-il. Il explique que Source Hut subit des « dizaines de brèves pannes par semaine » et qu'il doit chercher tous les jours de nouvelles solutions pour ne pas voir la situation empirer. Le même jour, son entreprise expliquait que des crawlers de LLM continuaient à provoquer un DDoS sur SourceHut.

Des solutions pour piéger les crawlers d'IA

Elle expliquait avoir décidé de déployer Anubis pour essayer de bloquer les bots des entreprises d'IA. « Ce logiciel présente à certains utilisateurs un défi de preuve de travail qui est résolu par le navigateur de l'utilisateur à l'aide de JavaScript », explique SourceHut. C'est en fait une solution qu'a développée Xe Iaso après avoir publié son ras-le-bol.

D'autres solutions commencent à être développées, notamment en essayant de piéger les IA dans un labyrinthe de liens. Nepenthes, par exemple. Sa documentation explique que le logiciel « fonctionne en générant des séquences infinies de pages, chacune contenant des dizaines de liens, qui retournent simplement dans un piège ». Nepenthes ajoute des petits détails comme un délai ou une fausse apparence de fichiers statiques pour tromper le crawler.

De son côté, Cloudflare a aussi pensé à une solution de labyrinthe, explique-t-elle dans un billet de blog. Celle-ci « utilise du contenu généré par l'IA pour ralentir, embrouiller et gaspiller les ressources des AI Crawlers et d'autres robots qui ne respectent pas les directives "no crawl" ». L'entreprise, connue pour vendre des solutions pour augmenter la sécurité et les performances des sites internet, propose pour le moment à tous ses utilisateurs la possibilité d'activer gratuitement cette fonctionnalité.