Bing et Google publient les IP de leurs robots d’indexation
Le 17 novembre 2021 à 10h10
1 min
Internet
Internet
Le géant de la recherche a fait le premier ce pas, modifiant il y a quelques jours sa documentation anglaise à destination des développeurs cherchant à s'assurer de l'origine d'une requête.
Outre la solution du reverse DNS, deux listes complètes des IPv4/v6 utilisées par les bots et l'ensemble des services de Google ont été publiées au format JSON.
Bing a suivi le mouvement, Fabrice Canel indiquant sur Twitter qu'une liste de ses propres bots (qui n'utilisent qu'IPv4) était disponible au format JSON. Elle est référencée sur cette page du support désormais et peut être utilisée en complément de l'outil Verifier Bingbot.
Le 17 novembre 2021 à 10h10
Commentaires (8)
Vous devez être abonné pour pouvoir commenter.
Déjà abonné ? Se connecter
Abonnez-vousLe 17/11/2021 à 13h18
Je me demande quel va être le premier site web à remplacer son robots.txt par un blocage des plages IP en question ^^
Le 17/11/2021 à 13h26
Copie France ?
Le 17/11/2021 à 15h14
Ils ont réellement les compétences pour programmer un robots.txt?
Le 17/11/2021 à 15h22
Next INpact
Ils l’avaient.
Mais l’actuel est plus raisonnable et manifestement copié tel quel.
Le 17/11/2021 à 22h31
Exercice à faire dans les prochains jours : blacklister toutes les IP google sur le routeur de la maison et voir combien de temps on tient…
Spoiler alert : pas longtemps
Morale : c’est un problème
Le 18/11/2021 à 12h07
Quelle est le problème de bloquer ces IP ? Je comptais le faire également
Le 18/11/2021 à 14h36
Hélas j’ai beau dégoogliser au maximum (plus de gmail, android /e/, pas de compte google, etc.), ça reste difficile voir parfois inévitable… Le meilleur exemple qui me vient c’est Youtube évidement.
Le 19/11/2021 à 13h32
Ces adresses IP correspondent aux robots chargés de détecter des sites web pour les indexer.
Bloquer ces préfixes peut être utile si vous hébergez des sites web. Google respecte les instructions du fichier robots.txt, donc un simple :
suffit à bloquer l’indexation par Google (et d’autres robots).
Par contre, le blocage des préfixes est totalement inutile dans une démarche de dégooglisation.
Il beaucoup plus intéressant d’utiliser un filtrage DNS interdisant tous les domaines de Google dont on peut trouver la liste sur diverses sources.