Google, à travers son infatigable Googlebot, parcourt la toile à la recherche de nouveaux contenus à indexer. Mais le temps et les ressources de Googlebot ne sont pas illimités. Il y a donc un nombre maximum de pages que ce dernier est prêt à explorer sur votre site lors de chaque visite. Cette quantité, appelée « budget crawl », détermine combien de vos pages seront explorées, et donc indexées. En optimisant le budget crawl, vous pouvez améliorer votre visibilité SEO.
Table des matières
🤔 Qu’est-ce que le budget crawl ?
Le budget crawl se réfère au nombre de pages que Google (ou tout autre moteur de recherche) est prêt à explorer sur votre site lors d’une visite spécifique de son robot d’exploration. Cette notion est particulièrement pertinente pour les grands sites web avec des milliers de pages.
👀 Définition du budget crawl
Le budget crawl est déterminé par deux facteurs principaux : la capacité de crawl, qui est le nombre maximum de pages que le crawler peut et veut explorer, et la volonté de crawl, qui est déterminée par la priorité que le crawler attribue à votre site en fonction de divers signaux, tels que la fraîcheur du contenu, la popularité des pages (liens entrants), etc.
Ainsi, le budget crawl est la combinaison de ces deux éléments et détermine combien de vos pages seront explorées, et extension indexées, par les moteurs de recherche.
🌐 Comment fonctionne le crawl des moteurs de recherche ?
Le crawl est le donc processus par lequel les moteurs de recherche découvrent et indexent les pages de votre site web. C’est un peu comme si un robot était envoyé pour lire chaque page de votre site, suivre les liens qu’il trouve et rapporter les informations à la base de données du moteur de recherche.
Cependant, ce robot a une capacité limitée et ne peut pas explorer toutes les pages de tous les sites à chaque visite. Il doit donc prioriser, et c’est là que le budget crawl entre en jeu. Si votre site dépasse le budget crawl, certaines de vos pages pourraient ne pas être explorées et donc ne pas être indexées, ce qui pourrait avoir un impact sur votre visibilité dans les résultats de recherche.
💡 Comment optimiser le budget crawl de son site web ?
Optimiser le budget crawl de votre site web nécessite une compréhension claire de la manière dont les moteurs de recherche explorent votre site. Il y a plusieurs façons d’y parvenir.
- La première est de réduire le nombre de pages inutiles qui sont crawlées. Cela peut être réalisé en bloquant l’accès aux pages inutiles à l’aide du fichier robots.txt, en utilisant la balise meta « noindex », ou en les supprimant (nous y reviendrons).
- Une autre méthode consiste à améliorer la vitesse de chargement de votre site, car un site plus rapide peut être crawlé plus efficacement.
- Enfin, une bonne structuration de votre site peut également aider les robots d’exploration à naviguer plus facilement, ce qui peut améliorer l’utilisation de votre budget crawl.
🧰 Les outils pour contrôler son budget crawl
Plusieurs outils peuvent vous aider à contrôler et à optimiser votre budget crawl. Pour n’en citer que 2 :
Google Search Console est un outil incontournable, qui vous fournit des informations précieuses sur la façon dont Google explore et indexe votre site. Des outils de crawl de site comme Screaming Frog SEO Spider peuvent également vous aider à identifier les problèmes potentiels qui pourraient affecter votre budget crawl, comme :
- les pages inaccessibles,
- les redirections excessives
- ou les erreurs de serveur.
🏗️ Les meilleures pratiques pour gérer son budget crawl
Pour gérer efficacement votre budget crawl, vous devriez donc envisager plusieurs meilleures pratiques :
- Premièrement, assurez-vous que votre site est facile à naviguer pour les robots d’exploration. Utilisez un plan de site XML et une structure de site bien organisée pour aider les robots à trouver vos pages.
- Deuxièmement, évitez les erreurs de serveur et les redirections inutiles qui peuvent consommer votre budget crawl.
- Troisièmement, veillez à ce que votre site se charge rapidement, car les sites lents peuvent être moins fréquemment explorés.
- Enfin, utilisez les outils de suivi de crawl pour surveiller régulièrement l’activité de crawl sur votre site et ajustez votre stratégie en conséquence.
🔥 Bonus : Gagner du budget crawl par la suppression de pages
Afin d’optimiser davantage votre budget crawl, une méthode efficace mais souvent négligée consiste à supprimer purement et simplement des pages inutiles. En effet, lors de mes audits de contenu SEO, je recommande presque systématiquement la suppression de pages, même si cette décision ne doit pas être prise à la légère. Voici quelques critères à considérer avant de procéder à une suppression :
- Le contenu de la page est-il inutile pour le visiteur ? Si la réponse est oui, la suppression peut être envisagée.
- La page génère-t-elle du trafic ? Si non, c’est un bon candidat à la suppression.
- La page génère-t-elle des impressions dans la Google Search Console ? Si le nombre est négligeable, vous pouvez envisager la suppression.
- La page possède-t-elle des backlinks ? Si c’est le cas, une redirection 301 peut être une meilleure option.
Il est essentiel de vérifier systématiquement la suppression de tous les liens entrants internes avant de procéder à la suppression d’une page. Après cela, au lieu d’utiliser le code d’erreur 404 habituel, optez pour le code 410 pour indiquer que la page a été supprimée définitivement. Cette méthode peut aider à libérer du budget crawl pour les pages importantes de votre site web.