Les crawls sont la tâche effectuée par le Googlebot afin d’analyser vos pages de façon plus ou moins fréquente, d’en déterminer la thématique et les nouveautés apportées, et de remanier les résultats de recherche en fonction de ces nouvelles données. Il s’agit donc d’une étape essentielle de la visibilité des sites. Dans quelle mesure devez-vous essayer d’influer sur cette exploration ?

Comment Google détermine-t-il la fréquence à laquelle votre site est crawlé ?

La fréquence de crawls n’est pas identique pour tous les sites. Celle-ci dépend fortement de leur nature et Google attribue un « budget de crawl » spécifique à chacun. La gestion du « budget crawl » alloué dépend ensuite de différents facteurs à ne pas négliger :

  • Performances techniques du site : la vitesse d’exploration des pages est inhérente aux performances de votre serveur et il est important de régler les problèmes de vitesse potentiels de votre site. De même, certaines technologies telles que le Javascript, ou des pages d’erreur trop nombreuses ont tendance à consommer davantage de budget d’exploration de façon inefficace ;
  • Architecture du site et maillage interne : la facilité d’accès à l’information est aussi importante pour l’internaute que pour le robot de Google. Il est donc important de penser à une architecture cohérente mettant en avant les thématiques fortes de votre activité, sans duplication de contenu, tout en évitant les explorations nécessitant d’aller trop en profondeur, du moins pour les pages les plus importantes ;
  • Nature et qualité du site : un site statique destiné à présenter des services n’a aucun intérêt à être crawlé aussi fréquemment qu’une marketplace présentant quotidiennement de nouveaux produits. Parallèlement à cela, la popularité des pages ainsi que la qualité du contenu jouent un rôle important dans le degré de priorité accordé par le Googlebot à chacune d’entre elles.

Comment influencer le crawl de votre site ?

Grâce à une analyse de log, vous pouvez être en mesure de repérer quelles pages sont plus rarement visitées que les autres voire ignorées par Google. La solution est alors de déterminer si ces pages nécessitent un passage plus fréquent, et si c’est le cas, quels sont les facteurs bloquants qui renvoient des signaux négatifs, afin d’en rectifier le tir.

Sachez que Google explore des « buckets d’url » qui sont des pages appartenant au même répertoire, puis établit un résultat global pour ce groupe d’url. Il est donc important de soigner la qualité du répertoire entier même si vous souhaitez agir sur une page en particulier.

Impact sur le SEO

Il est important de différencier une page qui n’est pas crawlée du tout d’une page qui l’est rarement. Car un site n’ayant pas vocation à publier du contenu de façon régulière ne sera pas pénalisé par Google pour autant. Du moment que la page est visible dans les résultats de recherche et que celle-ci n’a pas reçu de modification majeure qui n’aurait pas été répercutée à moyen terme, inutile de s’inquiéter. En effet, la fréquence de crawl n’a en réalité aucun impact sur le SEO si votre site ne justifie pas d’explorations rapprochés.

Partagez, c'est si simple (et ça fait plaisir) :