Un site qui se fait explorer du lundi au vendredi, puis plus rien pendant deux jours : le scénario inquiète, et il est plus fréquent qu’on ne le croit. Avant de paniquer, il faut savoir quoi regarder. La fréquence de crawl, ce nombre de passages des robots de Google sur une page ou une section pendant une période donnée, ne se pilote pas au feeling. Elle se lit dans des fichiers que la plupart des webmasters n’ouvrent jamais. Voici comment repérer les jours creux et comprendre ce qui les provoque vraiment.
Ce que la Search Console ne vous montre pas
L’onglet « Statistiques sur l’exploration » donne déjà une première piste. Vous y trouvez le nombre de pages explorées chaque jour, le poids total téléchargé par Googlebot et le temps moyen de réponse de votre serveur. Ces trois courbes se lisent ensemble : une chute du crawl qui coïncide avec un pic de temps de réponse raconte une histoire que le graphique seul n’explique pas. Pour aller plus loin sur ce type de diagnostic, les analyses publiées sur dedieonet.fr détaillent des cas concrets de répartition de budget crawl sur des sites volumineux.
Le problème, c’est que la Search Console agrège. Elle vous dit combien de pages ont été explorées, pas lesquelles, ni par quel robot, ni à quelle heure précise. Un site de dix mille URL dont Googlebot ne visite que les cinquante plus récentes affichera une courbe correcte tout en laissant pourrir le reste. Et cette agrégation gomme justement le détail qui vous intéresse : le comportement jour par jour, voire heure par heure.
Lire ses logs pour voir les jours creux
Les fichiers logs Apache ou Nginx racontent une autre histoire, beaucoup plus fine. Chaque requête de Googlebot y est inscrite avec l’URL demandée, l’horodatage et le code de réponse. Filtrez sur l’agent utilisateur de Googlebot et vous obtenez la carte exacte de ses passages. C’est là que le week-end apparaît, ou pas.
Ce que la courbe horaire révèle vraiment
Un tableur suffit pour trier ces lignes par jour de la semaine. La plupart des hébergeurs conservent ces fichiers plusieurs semaines, ce qui laisse de la matière. Vous cherchez une régularité : Googlebot passe-t-il tous les jours, ou son activité se concentre-t-elle sur cinq jours ouvrés ?
Ce que beaucoup découvrent en faisant ce tri, c’est une répartition très inégale selon les sections du site, et ce déséquilibre raconte souvent l’histoire de la structure elle-même. Les pages mises en avant dans le menu principal, celles qui reçoivent des liens internes depuis la page d’accueil, sont visitées bien plus souvent que les articles enfouis au fond d’une rubrique. Voici ce qui ressort le plus souvent quand on croise les lignes.
- Les pages de catégorie sont explorées tous les jours, y compris le samedi.
- Les articles publiés depuis moins d’une semaine, systématiquement revisités.
- Pourquoi les pages de pagination profonde ne reçoivent-elles jamais de visite après le vendredi ?
- Les fiches produits anciennes, oubliées depuis des mois, sans aucun passage.
- Le sitemap XML est relu presque chaque nuit, ce qui ne déclenche rien pour autant.
Cette photo change tout. Un crawl qui s’arrête le week-end n’est pas un crawl qui s’arrête : c’est un crawl qui se concentre sur une fraction du site, celle que Google juge encore utile. Le reste attend, parfois indéfiniment.
Le budget crawl, cette ressource qu’on gaspille
Le budget crawl désigne le nombre de pages que Googlebot va visiter sur votre site. Il est attribué à chaque domaine et calculé selon plusieurs critères : vitesse de chargement, profondeur des pages, qualité du contenu, fréquence des mises à jour. Autrement dit, il ne se négocie pas au téléphone. Il se mérite, page par page.
Quand un site plafonne sur cinq jours ouvrés, la cause est presque toujours la même : une part importante de ce budget part dans des URL sans valeur. Paramètres de tri, sessions, pages de recherche interne, redirections en chaîne, contenu dupliqué par pagination. Googlebot consomme son allotement sur ces adresses, puis s’arrête. Le week-end, il n’a plus rien à visiter d’intéressant parce qu’il a déjà tout vu la semaine. Sur ce point, voir aussi notre article sur cache agressive google.
Auditer avant de corriger
Croiser logs et structure du site demande des outils. OnCrawl, Botify et JetOctopus font ce travail : ils rapprochent les lignes de logs de votre arborescence et font ressortir les zones sur-explorées et les zones délaissées. Le rapport est souvent brutal. Des milliers de passages sur des URL filtrées, zéro sur des pages qui génèrent du chiffre.
Une fois le diagnostic posé, l’action devient logique. On ferme l’accès aux URL sans intérêt, on simplifie la pagination, on corrige les redirections qui s’empilent sur trois niveaux, on allège le temps de réponse du serveur.
Le budget ainsi libéré se redéploie mécaniquement vers les pages qui comptent, et l’exploration reprend sur un rythme plus régulier, week-end compris. Le format AMP peut aussi jouer sur ce point : il allège les pages et accélère leur téléchargement, ce qui pousse Googlebot à en visiter davantage dans le même temps.
Relancer l’exploration le samedi et le dimanche
Une fois le ménage fait, il reste à donner à Googlebot une raison de revenir en fin de semaine. La première consiste à publier ou à mettre à jour du contenu régulièrement, sans tout concentrer sur le mardi matin. Une actualité publiée le samedi matin, un prix modifié le dimanche, et le sitemap XML signalera ces changements avec une date de modification fraîche.
La deuxième consiste à surveiller la réponse serveur. Un hébergement mutualisé qui rame le week-end parce que les autres sites du serveur tournent à plein régime, et voilà Googlebot qui ralentit son passage. Le temps moyen de réponse remonte, le crawl baisse, et vous cherchez la cause ailleurs pendant des semaines.
Ça dépend aussi du type de site. Un e-commerce avec des stocks qui bougent tous les jours n’a pas les mêmes leviers qu’un blog qui publie deux fois par mois. Dans le premier cas, le week-end est un moment stratégique, avec des visiteurs et des commandes. Dans le second, franchement, la question du crawl dominical se pose moins.
La régularité compte plus que le volume
Un site visité tous les jours par Googlebot, même modestement, se porte mieux qu’un site bombardé le lundi et délaissé le reste de la semaine. La régularité rassure l’algorithme sur la fraîcheur du contenu et sur la stabilité technique du serveur.
Or c’est bien cette stabilité qui conditionne la confiance accordée au domaine, davantage que le nombre brut de passages comptabilisés sur un mois glissant. Alors avant de courir après des passages supplémentaires, posez-vous la bonne question : vos logs montrent-ils un crawl régulier, ou juste un crawl volumineux concentré sur trois jours ?
