Le fichier robots.txt fêtait cette semaine ses vingt ans. À l'occasion de cet anniversaire, plusieurs sociétés ont laissé de petits messages, certains pleins d'humour. C'est par exemple le cas de Google qui en profite pour mettre ses dirigeants à l'abri d'une attaque de Terminator.

Robots.txt : un consensus vieux de 20 ans, mais en aucun cas une obligation

Le 30 juin 1994, un consensus était trouvé afin de mettre en place un système permettant de donner des indications aux robots des moteurs de recherche. Le but étant de leur indiquer des pages qu'il est inutile d'indexer, et ce, quelle qu’en soit la raison. Cela passe donc par un fichier nommé robots.txt.

Il est important de rappeler qu'il ne s'agit que d'une indication et pas d'une obligation. Les moteurs de recherche peuvent en effet décider de passer outre. De plus, il n'existe aucune norme officielle mise en place par une organisation ou une société, mais de plus amples informations sont disponibles par ici.

Quoi qu'il en soit, ce fichier fêtait donc ses 20 ans cette semaine. Un événement qui aurait pu passer inaperçu pour la très grande majorité des gens, mais c'était sans compter sur l'espièglerie de certains. En effet, plusieurs entreprises ont modifié leur fichier à cette occasion, souvent de manière assez drôle. Notez que dans certains cas les messages étaient déjà présents avant cet anniversaire. En voici quelques-uns triés sur le volet.

Google protège ses fondateurs des Terminators

Chez Google, on indique aux robots T-800 et T-1000 (alias Terminator) qu'ils ne doivent pas s'occuper de Larry Page et de Sergey Brin, les deux fondateurs du moteur de recherche. Un point qui pourrait par contre être à double tranchant étant donné l'intérêt que porte actuellement Google à la robotique, ainsi que les récentes manifestations lors de la conférence Google I/O où certains critiquaient les investissements de Google et les « robots qui tuent des gens ».

De son côté, Nike affiche des messages publicitaires : « levez-vous. Sortez. Allez de l'avant. Pas d'excuse », qui sont donc avant tout destinés aux geeks (qui d'autres s'intéresse à ces fichiers ?). Forecheck, une société spécialisée dans le SEO, fait d'une pierre deux coups avec le long départ en vacances de Matt Cutts.

On pourrait également citer Yelp ou encore Etsy (à condition de bien penser à lire la fin du fichier). Bien évidemment, n'hésitez pas à nous faire part de vos trouvailles via les commentaires.