Google référence un nombre très important de pages sur le web, mais il est souvent difficile d'avoir une fourchette précise. Lors d'une conférence, un de ses responsables a annoncé qu'il existe 120 000 milliards d'URL dans son index, dont 60 % contiennent du contenu en double.
Lors de la conférence State of Search qui se déroulait récemment à Dallas aux États-Unis, Gary Illyes, Webmaster Trends Analyst chez Google, était monté sur scène. L'occasion pour ce dernier de donner quelques chiffres sur le moteur de recherche, notamment repris par StewArtMedia et TheSemPost.
Il a ainsi annoncé que Google connaissait pas moins de 120 000 milliards d'URL, une information que le moteur de recherche ne dévoile que très rarement. Pour rappel, début 2013 le géant du Net avait publié une infographie où il revendiquait que son index référençait 30 000 milliards de pages et occupait un espace de 100 000 To. Dans tous les cas, c'est donc une multiplication par quatre en moins de trois ans.
Tout aussi intéressant (et étonnant), Gary Illyes ajoute que 60 % des URL actuellement référencées par le moteur de recherche contiennent du contenu en double (ou duplicate content). Sur cette page, le moteur de recherche explique qu'il s'agit généralement de « blocs de contenu importants, appartenant à un même domaine ou répartis sur plusieurs domaines, qui sont identiques ou sensiblement similaires. À l'origine, la plupart de ces contenus ne sont pas malveillants ». Il n'en reste pas moins que sur les 120 000 milliards d'URL, plus de 70 000 milliards (excusez du peu) correspondent apparemment à cette définition.
about 60% of the 120 TRILLION URLs on the internet are duplicates, according to @methode. #StateofSearch
— DFWSEM (@dfwsem) November 16, 2015
Commentaires (16)
Si on résume, beaucoup de porno, beaucoup de doublons, il reste pas grand chose en faite sur Internet.
J’aurai pensé à plus de doublons.
120 billion, ça fait combien de lien inutile qui ne pointe sur rien d’intéressant ? (en plus de doubles)
Et combien de liens qui viennent des aggrégateurs de bordel comme FirstSlice, Buzzfeed et consort ?
" />
100 000 To
Bah c’est pas tant que ça, le moindre datacenter dispose normalement de plusieurs Petaoctets (donc plusieurs dizaines de milliers de Teraoctets). Et Google a beaucoup, beaucoup de datacenter.
Ce qui l’étonne plus, je pense, c’est la taille de l’index en lui-même et non la volumétrie dont on peut disposer.
Ils entendent quoi précisément par URL ? Le nombre de pages, concrètement ?
tout à fait
" />
" />
100.000 To, rien que pour l’index
" />
Par index ils entendent quoi ? Juste la liste des URL, ou quoi d’autre comme données qui accompagne chaque URL ? Un descriptif, une partie en cache ? Ou bien juste la liste ?
J’ai jamais travaillé dans le domaine du big data mais franchement ça donne envie ! Sacré défis d’avoir des temps de réponse aussi rapide avec autant de données.
Beaucoup de choses. Mais il ne faut pas se dire que leur “index” = 1 table dans leur BDD, ils en ont peut-être plusieurs, dans tous les cas, ils doivent t’optimiser ça aux petits oignons.
Ils expliquent pas mal de chosesici.
De base, il suffit de réfléchir à ce dont ils ont besoin pour afficher un résultat de recherche soit :
Et surtout, le contenu des pages elles-mêmes en texte (équivalent de ce que l’on peut voir en version cache je suppose) pour que leur algorithme puisse vérifier la pertinence d’une page par rapport à la recherche effectuée.
Ils ne peuvent pas se permettre d’avoir une dépendance avec le site d’une page pertinente pour récupérer des éléments (indisponibilité temporaire). Ce ne serait pas bon non plus pour le site lui-même qui serait sollicité inutilement. C’est pour ça que la fréquence du crawl a une influence forte sur l’indexation.
les lidd tante de répondre a cette question!
C’est une histoire de famille
" />
Dire qu’on se fait taper sur les doigts en cas de duplicate content…
Ce n’est pas pour améliorer la pertinence, mais pour soulager leur index en fait ! Aha !
Oui c’est ça, une URL est l’adresse d’une ressource, que ce soit une page, une image, une vidéo, etc. Quand tu tapes le nom de domaine d’un site dans la barre d’adresse, tu demandes la ressource “index”, la ressource racine.