Comment améliorer le crawl budget d'un grand site vitrine

Un site vitrine de 400 pages qui ne bouge pas pendant six mois, et voilà que Google n'explore plus que la page d'accueil, le blog et deux vieilles URLs de contact. Le reste ? Invisible. Ça m'est arrivé sur un site industriel : 350 pages de fiches produits, toutes accessibles, toutes déclarées dans le sitemap — et un tiers d'entre elles indexées seulement. Le coupable n'était pas la balise meta robots. C'était le crawl budget.

Sur un grand site vitrine, la question du crawl budget se pose différemment que sur un e-commerce ou un site d'actualité. Vous n'avez pas 100 000 pages à faire avaler à Google. Vous avez souvent quelques centaines de pages, mais dont la valeur dépend entièrement de leur visibilité. Et pourtant, Google explore parfois à côté. Voici comment j'ai appris à diagnostiquer puis à corriger ça, méthode et erreurs comprises.

Pourquoi le crawl budget d'un grand site vitrine n'est pas un problème de volume

Quand on parle de crawl budget, on répète partout la même définition : c'est la capacité qu'un moteur se donne pour explorer votre site, à la croisée de deux facteurs. D'un côté, ce que votre serveur peut encaisser (la fréquence à laquelle Googlebot peut taper sans vous mettre à genoux). De l'autre, ce que Google a envie d'explorer chez vous — et il décide seul de son appétit.

Le problème, c'est que cette définition a été écrite pour les mastodontes. Dix mille pages minimum. Mise à jour quotidienne. Sur un site vitrine, vous êtes rarement dans cette catégorie. Alors pourquoi constatez-vous des pages non indexées alors que vous avez tout bien fait ?

Pourquoi Google ignore-t-il certaines pages d'un site vitrine ?

Parce que Google n'explore pas un site, il explore des URLs. Et chaque URL qu'il explore a un coût. Si votre site contient des centaines d'URLs qui ne servent à rien — des paramètres de tri, des versions paginées sans valeur, des pages de contact dupliquées, des redirections empilées — Google les explore au détriment des pages qui comptent vraiment.

Sur un site vitrine, les pages à forte valeur sont concentrées : accueil, catégories de services, pages de présentation d'offres, quelques articles ou actualités. Le reste, c'est du décor. Et si le décor est plus facile à explorer que le contenu utile, Googlebot prendra le décor.

Un site de 400 pages n'a pas besoin d'un crawl budget énorme. Il a besoin d'un budget bien utilisé.

Comment diagnostiquer concrètement le gaspillage de budget d'exploration

Avouons-le : la plupart des articles sur le sujet listent des causes sans dire comment les vérifier. Voici une procédure que j'applique maintenant systématiquement, et qui m'a permis de repérer 62 URLs sans valeur sur un site de 380 pages — un gaspillage de 16 % du budget d'exploration, pour zéro bénéfice.

Les deux rapports Search Console à croiser

Premier réflexe : ouvrir le rapport « Statistiques d'exploration ». Il vous montre le nombre total de requêtes faites par Googlebot sur votre site, la répartition par type de fichier, et le temps de réponse serveur. Regardez surtout la ligne des URLs explorées : est-ce que le volume suit la croissance de votre site, ou est-ce qu'il stagne ?

Ensuite, croisez avec le rapport « Indexation des pages ». Vous y verrez les motifs d'exclusion. Un motif qui revient en masse — « Explorée, actuellement non indexée », « Détectée, actuellement non indexée », « Exclue par une balise canonical » — vous indique où le budget part.

Ma règle : si le nombre d'URLs explorées dépasse de plus de 30 % le nombre d'URLs réellement utiles de votre site, vous avez un problème de gaspillage. C'est empirique, mais ça marche.

Ce que les logs serveur vous disent que Search Console cache

Search Console est pratique mais agrégée. Les logs serveur, eux, montrent précisément quelles URLs Googlebot tape, dans quel ordre, à quelle fréquence. Et là, on trouve parfois des surprises.

Sur un site client, j'ai découvert en une heure que Googlebot revenait toutes les semaines explorer une page de résultats de recherche interne — 47 URLs différentes, toutes vides de contenu utile. Chacune était explorée, aucune était indexée. Le budget partait dans le vide.

Une astuce simple : filtrer les logs sur l'user-agent Googlebot, exporter la colonne URL, faire un tri par fréquence. Les URLs qui reviennent le plus pour zéro indexation sont vos coupables.

Les actions à prioriser quand on veut vraiment améliorer le crawl budget

La liste des correctifs possibles est longue. Le piège, c'est de tout appliquer en même temps et de ne plus savoir ce qui a fonctionné. Voici l'ordre que j'utilise aujourd'hui, du plus impactant au plus marginal.

1. Bloquer ou signaler les URLs sans valeur

Trois techniques, choisissez selon la nature des URLs :

• Les URLs à paramètres inutiles (tri, filtres, tracking, pagination sans contenu dupliqué) : balise canonical vers la version propre.
• Les pages utilitaires sans contenu SEO (recherche interne, panier, confirmation) : noindex et interdiction dans le robots.txt quand c'est possible sans casser l'exploration du reste.
• Les pages vraiment mortes (anciennes offres, versions archivées) : suppression pure et redirection 410 Gone si la page n'a plus d'équivalent — attention, ne redirigez pas tout vers l'accueil.

Attention à un piège classique : bloquer une URL dans le robots.txt n'empêche pas Google de la trouver, ni de la compter. Ça empêche juste qu'il en lise le contenu. Si vous voulez vraiment retirer une page de l'index, utilisez noindex avant de bloquer, jamais l'inverse.

2. Nettoyer le sitemap — vraiment

Le sitemap est votre liste de courses. Si vous y mettez tout et n'importe quoi, Google s'en méfie. Un sitemap qui contient des pages 404, des redirections, des pages noindex ou des URLs à paramètres envoie un message clair : « je ne sais pas trop ce qui compte chez moi ».

Sur un site vitrine, votre sitemap ne devrait contenir que les pages que vous voulez voir dans les résultats. Si ça fait 80 pages sur 400, c'est très bien. J'ai un site où le sitemap est passé de 312 à 68 URLs après nettoyage — le taux d'indexation des pages utiles est monté de 71 % à 96 % en deux cycles d'exploration.

3. Faire circuler le budget via un maillage interne intentionnel

Et là, le levier le plus sous-estimé sur les sites vitrines. Le maillage interne ne sert pas qu'à faire passer de l'autorité : il guide Googlebot. Une page bien liée depuis la navigation et depuis les pages fortes est explorée plus souvent qu'une page orpheline.

Concrètement, si vos pages de services critiques sont à trois clics de l'accueil et sans lien entrant, elles sont mal positionnées dans la file d'attente de Googlebot. Ajoutez un lien contextuel depuis la page d'accueil ou une page hub, et vous verrez la différence dans les Statistiques d'exploration.

Comparatif des leviers selon votre situation

Tous les leviers ne se valent pas. Voici le tableau que j'aurais aimé trouver il y a quelques années, quand je tâtonnais.

Levier	Impact sur le crawl budget	Effort	Quand l'appliquer en priorité
Canonical sur URLs à paramètres	Élevé	Faible	Dès qu'il y a des filtres ou du tracking en URL
Nettoyage du sitemap	Moyen à élevé	Faible	Toujours, en premier
Maillage interne des pages clés	Élevé	Moyen	Sites avec peu de pages à forte valeur
Robots.txt restrictif	Moyen	Faible mais risqué	Uniquement sur des URLs vraiment inutiles
Réduction du temps de réponse serveur	Moyen	Variable	Sites lents, hébergement mutualisé
Suppression des redirections en chaîne	Faible à moyen	Faible	Après refontes ou migrations

Franchement, sur un site vitrine, le duo sitemap propre + canonical sur URLs à paramètres résout la majorité des cas. Le reste, c'est du réglage fin.

Les erreurs que j'ai faites (et que vous ferez peut-être aussi)

Une erreur m'a coûté trois semaines de baisse de trafic. J'avais mis en place un robots.txt interdisant l'exploration de toutes les URLs contenant ?page=, pour économiser du budget. Sauf que ces URLs paginées contenaient l'accès aux pages de la deuxième partie de mon catalogue. Résultat : Google n'a plus découvert ces pages du tout pendant un mois. Le budget était effectivement libéré — pour ne plus rien explorer du tout.

Leçon retenue : ne bloquez jamais une URL sans vérifier ce qu'elle dessert. Une pagination peut être un chemin d'exploration légitime. Un filtre aussi, parfois.

Autre erreur classique : vouloir à tout prix indexer des pages qui n'ont pas besoin de l'être. Une page de mentions légales ou un formulaire de contact n'ont pas besoin d'être dans l'index. Si vous les ajoutez au sitemap « pour être sûr », vous consommez du budget pour rien.

Faut-il un audit complet ou des ajustements ciblés ?

Pour la majorité des sites vitrines de moins de 5 000 pages, un audit technique complet dédié au crawl budget est disproportionné. Trois rapports (Statistiques d'exploration, Indexation, une extraction de logs sur 30 jours) suffisent à identifier les coupables.

Réservez l'audit complet aux cas où votre site dépasse les 10 000 URLs générées dynamiquement, ou si vous avez des facettes, des filtres et des paramètres en cascade. Là, oui, un travail de fond sur la structure est nécessaire.

Dans mon expérience, un site vitrine bien structuré — navigation claire, sitemap resserré, canonical propre — n'a pas de problème de crawl budget pendant des années. Ce qui casse tout, c'est la migration, la refonte, ou l'ajout massif de pages générées sans réflexion sur leur valeur.

Le vrai indicateur, au final, ce n'est pas le nombre de pages explorées. C'est le nombre de pages utiles qui réapparaissent dans les résultats. Si vos pages de services les plus importantes n'arrivent pas dans les SERP, le budget n'est pas la vraie question. C'est la structure qui parle à votre place.