Qu'est-ce que le budget de crawl ?
Le budget de crawl représente le nombre de pages que Googlebot est prêt à explorer sur votre site dans un délai donné. Il est déterminé par deux facteurs : la limite de crawl (débit que le serveur peut supporter sans être ralenti) et la demande de crawl (popularité de votre site, fraîcheur du contenu). Pour les petits sites de moins de 1 000 pages, le budget de crawl est rarement un problème. C'est une préoccupation majeure pour les grands sites e-commerce, les sites de presse ou les plateformes avec des milliers de pages.
Comment optimiser son budget de crawl ?
Pour optimiser votre budget de crawl : bloquez les pages sans valeur SEO avec le fichier robots.txt (pages de connexion, panier, résultats de recherche interne), utilisez les balises noindex pour les pages dupliquées ou peu importantes, corrigez les erreurs 4xx et 5xx qui gaspillent le budget, réduisez les chaînes de redirections (301), améliorez le maillage interne pour faciliter la découverte des pages importantes, et assurez-vous que votre sitemap XML ne contient que des pages indexables.
Pages orphelines et budget de crawl
Une page orpheline est une page sans aucun lien interne pointant vers elle. Googlebot ne peut la découvrir que via le sitemap XML ou des backlinks externes. Les pages orphelines gaspillent le budget de crawl car elles sont difficiles à trouver et souvent de faible valeur. Identifiez vos pages orphelines avec des outils comme Screaming Frog, puis ajoutez des liens internes depuis des pages pertinentes ou regroupez-les dans une hiérarchie logique.