La Wayback Machine victime indirecte des crawlers des IA génératives ?

Plusieurs médias commencent à activement prendre des mesures pour bloquer l'archivage de leurs articles par la Wayback Machine. Ce site géré par I'organisation à but non lucratif Internet Archive permet d'accéder à 1 000 milliards de pages qu'elle a sauvegardées en presque 30 ans.

Mais depuis l'arrivée de l'IA générative, leurs crawlers parcourent le web à l’affût de toutes les pages qui pourraient renforcer l’entraînement des modèles de langage et de leur système de RAG (Retrieval-augmented generation) qui leur permettent de citer des documents récents. Et ils posent de sérieux problèmes aux sites web en augmentant de façon disproportionnée le nombre de visites des robots, mettant en péril les infrastructures. Ainsi, l'année dernière des responsables de sites scientifiques mais aussi la Fondation Wikimédia avaient alerté sur le problème.

Les sites de média ne font pas exception, d'autant que leurs contenus sont particulièrement prisés des entreprises d'IA générative qui basent leur connaissance de l'actualité essentiellement sur le travail des journalistes qui travaillent pour ces médias. Une bonne partie d'entre eux utilisent bien le fichier robots.txt pour les bloquer. Ainsi, selon un relevé du journaliste Ben Welsh, la moitié des 1 157 sites de presse qu'il a recensés bloque maintenant le robot d'OpenAI et 44 % celui qu'utilise Google pour Gemini.

Comme le faisait remarquer Cloudflare en août dernier, certaines entreprises d'IA générative masquent leurs crawlers web en modifiant leur agent utilisateur pour se faire passer pour ce qu’ils ne sont pas.

Mais, selon Robert Hahn, directeur des affaires commerciales et des licences du journal britannique The Guardian, certains passeraient aussi par des voies indirectes comme Internet Archive pour récupérer les contenus des médias. « Beaucoup de ces entreprises spécialisées dans l'IA recherchent des bases de données structurées et facilement accessibles », affirme-t-il au blog du Nieman Lab, « l'API d'Internet Archive serait un endroit évident où brancher leurs machines et extraire la propriété intellectuelle », tout en admettant que la Wayback Machine en elle-même serait « moins risquée ». Le responsable du média britannique confirme donc avoir pris des mesures, en collaboration avec Internet Archive, pour retirer les articles du Guardian de cette API et de l'outil de l'organisation.

En France, le Monde bloque, Le Figaro et Libération laissent passer

Il reste 59% de l'article à découvrir.

Déjà abonné ? Se connecter

Soutenez un journalisme indépendant,
libre de ton, sans pub et sans reproche.

Accédez en illimité aux articles

Profitez d'un média expert et unique

Intégrez la communauté et prenez part aux débats

Partagez des articles premium à vos contacts

Abonnez-vous