Robots.txt : Google publie les sources de nouveaux outils
1 min
Internet
Internet
L’année dernière, à l’occasion des 25 ans de ce fichier important pour les sites et moteurs de recherche, c’était déjà le cas du parser C++ utilisé par l’entreprise.
Il passait alors sous licence Apache 2.0, le Robots Exclusion Protocol (REP) faisant l’objet d’une proposition à l’IETF. Aujourd’hui, on apprend la publication des sources d’un framework de test.
Le parser est également diffusé dans une version Java par Google, des développeurs non affiliés au géant américain ayant pour leur part créé des implémentations en Go et Rust.
Commentaires (0)
Abonnez-vous pour prendre part au débat
Déjà abonné ou lecteur ? Se connecter
Cet article est en accès libre, mais il est le produit d'une rédaction qui ne travaille que pour ses lecteurs, sur un média sans pub et sans tracker. Soutenez le journalisme tech de qualité en vous abonnant.
Accédez en illimité aux articles d'un média expert
Profitez d'au moins 1 To de stockage pour vos sauvegardes
Intégrez la communauté et prenez part aux débats
Partagez des articles premium à vos contacts
Abonnez-vousSignaler un commentaire
Voulez-vous vraiment signaler ce commentaire ?