Sommaire
- 1. Optimiser le fichier robots.txt
- 2. Corriger les erreurs 404 et 5xx
- 3. Mettre à jour les redirections 302
- 4. Améliorer le temps de chargement des pages
- 5. Éviter les chaînes de redirection
- 6. Renforcer les liens internes vers les pages importantes
- 7. Détecter et résoudre les problèmes de contenu dupliqué
- 8. Ajuster la structure du site
- 9. Optimiser le sitemap XML
- 10. Isoler les bons bots et bloquer les mauvais bots
- 11. Surveiller les réponses serveur pour détecter les erreurs de crawl
- 12. Optimiser les backlinks pour améliorer le crawl de Googlebot
L’analyse des fichiers logs SEO est une mine d’or pour optimiser la performance et la visibilité de votre site web. Elle permet d’examiner comment les moteurs de recherche explorent votre site et de déceler les obstacles ou opportunités d’optimisation. Dans cet article, nous vous proposons 9 actions concrètes à mettre en place après une analyse de logs SEO, avec des exemples et des conseils pratiques pour maximiser l’impact de votre stratégie SEO.
1. Optimiser le fichier robots.txt
Comment analyser ?
L’analyse des logs vous permet d’identifier les pages que les moteurs de recherche crawlent fréquemment, même si elles n’ont pas de valeur pour l’indexation (pages de recherche interne, de login, etc.). Vous pouvez voir quelles URL sont visitées par les bots, mais qui ne devraient pas l’être.
Exemple concret :
Si vous constatez que Googlebot explore des pages de recherche interne ou des pages dupliquées (comme des filtres de produits), cela consomme inutilement votre budget de crawl.
Marche à suivre :
- Mettez à jour votre fichier
robots.txt
pour bloquer les pages inutiles avec la directive suivante :Disallow: /recherche/
Disallow: /login/
- Assurez-vous que les pages stratégiques restent accessibles, et testez votre fichier via Google Search Console pour vérifier que les directives sont respectées.
2. Corriger les erreurs 404 et 5xx
Comment analyser ?
Les fichiers logs vous permettent d’identifier toutes les erreurs rencontrées par les crawlers, y compris les erreurs 404 (pages non trouvées) et 5xx (erreurs serveur). Ces erreurs peuvent dégrader votre SEO en détériorant l'expérience utilisateur et en signalant des problèmes techniques à Google.
Exemple concret :
Un site e-commerce détecte dans les logs une augmentation des erreurs 404 suite à la suppression d’anciennes fiches produits. Google continue à crawler ces URL obsolètes, gaspillant ainsi le budget de crawl.
Marche à suivre :
- Identifiez les erreurs 404 et 5xx dans les logs et vérifiez si elles sont récurrentes.
- Mettez en place des redirections 301 pour les pages 404 vers des pages pertinentes, et corrigez les erreurs serveur 5xx si elles sont fréquentes.
- Testez vos redirections avec des outils comme Screaming Frog ou directement dans les logs pour confirmer qu'elles fonctionnent correctement.
3. Mettre à jour les redirections 302
Comment analyser ?
Les redirections 302 (temporaires) signalent aux moteurs de recherche que la redirection n’est pas définitive, mais si elles sont utilisées à long terme, elles peuvent perturber l’indexation. En consultant les logs, vous pouvez vérifier si des redirections 302 sont fréquentes sur des pages importantes.
Exemple concret :
Un blog utilise des redirections 302 pour plusieurs articles déplacés temporairement, mais les redirections sont en place depuis plus de six mois. Googlebot continue de traiter ces redirections comme temporaires, ce qui ralentit l’indexation.
Marche à suivre :
- Remplacez les redirections 302 par des redirections 301 pour signaler que le changement est permanent.
Redirect 301 /ancien-article /nouvel-article
- Surveillez les logs pour vérifier que les bots accèdent bien aux nouvelles pages.
4. Améliorer le temps de chargement des pages
Comment analyser ?
L’analyse des logs vous montre le temps de réponse du serveur pour chaque page. Si vous constatez que certaines pages ont un temps de réponse élevé, cela peut avoir un impact négatif sur le crawl et sur l’expérience utilisateur, surtout sur mobile.
Exemple concret :
Les logs montrent que les pages produits d’un site e-commerce ont un temps de réponse de plus de 3 secondes, ce qui ralentit le crawl de Googlebot et peut impacter le taux de conversion.
Marche à suivre :
- Optimisez les images, compressez les fichiers CSS/JS, et mettez en place le lazy loading pour améliorer le temps de chargement.
- Utilisez un CDN (Content Delivery Network) pour accélérer la distribution des fichiers.
- Testez les temps de réponse après optimisation avec des outils comme GTmetrix et Google PageSpeed Insights.
5. Éviter les chaînes de redirection
Comment analyser ?
L'analyse des logs vous permet d'identifier les redirections multiples (chaînes de redirection), où un utilisateur est redirigé plusieurs fois avant d’atteindre la page finale. Cela gaspille le budget de crawl et ralentit l’expérience utilisateur.
Exemple concret :
Les logs montrent qu’une ancienne URL redirige vers une autre page, qui redirige encore vers une troisième URL. Ce processus crée des chaînes de redirection inutiles.
Marche à suivre :
- Remplacez les chaînes de redirection par une redirection unique, directe, du point A au point B, avec une seule 301.
Redirect 301 /ancienne-page /nouvelle-page
- Vérifiez ensuite les logs pour vous assurer que les bots suivent correctement la redirection directe.
6. Renforcer les liens internes vers les pages importantes
Comment analyser ?
En consultant les logs, vous pouvez voir quelles pages sont souvent crawlées et lesquelles sont négligées. Si des pages clés, comme des pages de conversion ou des articles piliers, sont rarement explorées, cela peut être dû à un manque de liens internes.
Exemple concret :
Un site de services observe que ses pages de témoignages clients, qui jouent un rôle important dans la conversion, sont rarement explorées par Googlebot.
Marche à suivre :
- Ajoutez des liens internes vers ces pages à partir de pages à fort trafic ou de la page d’accueil.
- Surveillez ensuite les logs pour voir si le taux de crawl sur ces pages augmente.
7. Détecter et résoudre les problèmes de contenu dupliqué
Comment analyser ?
L’analyse des logs peut révéler que des pages dupliquées (comme les versions paginées ou des pages avec des paramètres d’URL différents) consomment le budget de crawl. Ces pages diluent l’importance des pages principales.
Exemple concret :
Les logs montrent que Google explore les mêmes pages de produit avec des URL différentes en fonction des filtres appliqués, ce qui crée du contenu dupliqué.
Marche à suivre :
- Utilisez la balise
rel="canonical"
pour indiquer à Google la version principale d’une page. - Configurez les paramètres d’URL dans Google Search Console pour éviter de gaspiller le budget de crawl.
8. Ajuster la structure du site
Comment analyser ?
Les logs révèlent souvent que certaines pages profondément enfouies dans la structure du site ne sont pas explorées régulièrement, car elles sont trop difficiles d'accès pour les moteurs de recherche.
Exemple concret :
Un blog observe que ses articles les plus anciens, situés à plusieurs niveaux de profondeur dans l’arborescence du site, ne sont plus explorés régulièrement par Google.
Marche à suivre :
- Réorganisez votre structure de liens internes pour rapprocher ces pages de la page d’accueil ou des pages à fort trafic.
- Ajoutez ces articles dans les sections “Contenu connexe” ou “Articles populaires” pour faciliter leur exploration.
9. Optimiser le sitemap XML
Comment analyser ?
Les logs vous permettent de vérifier si les pages présentes dans votre sitemap XML sont réellement explorées par les moteurs de recherche. Si des pages importantes sont ignorées, c’est peut-être parce qu’elles ne sont pas incluses dans le sitemap.
Exemple concret :
Le sitemap d’un site B2B omet plusieurs pages cruciales pour les conversions, qui ne sont donc pas régulièrement explorées par Google.
Marche à suivre :
- Mettez à jour votre sitemap XML pour inclure toutes les pages importantes et assurez-vous que ce fichier est bien accessible dans le fichier
robots.txt
. - Soumettez votre sitemap mis à jour dans Google Search Console et surveillez les logs pour vérifier que ces pages sont désormais explorées.
10. Isoler les bons bots et bloquer les mauvais bots
Comment analyser ?
L’analyse des logs permet d’identifier les différents bots qui visitent votre site. En distinguant les bons bots (comme Googlebot) des mauvais bots (spammeurs, bots de scrapping), vous pouvez mieux comprendre comment les moteurs de recherche interagissent avec votre site, tout en protégeant vos ressources.
Exemple concret :
Les logs révèlent que des mauvais bots (non reconnus) accèdent régulièrement à des pages critiques de votre site, augmentant inutilement la charge serveur.
Marche à suivre :
- Identifiez les mauvais bots grâce aux logs en analysant les user-agents suspects.
- Utilisez des outils de sécurité comme Cloudflare ou modifiez votre fichier
.htaccess
pour bloquer ces bots - Surveillez l’impact sur les performances et la sécurité du site via les logs.
11. Surveiller les réponses serveur pour détecter les erreurs de crawl
Comment analyser ?
En analysant les logs de Googlebot, vous pouvez détecter des erreurs serveur (5xx) qui peuvent bloquer l’indexation de certaines pages. Ces erreurs peuvent ne pas toujours être visibles dans Google Analytics, mais elles peuvent affecter directement le référencement naturel.
Exemple concret :
L’installation d’un plugin de facettes sur un site a entraîné une augmentation des erreurs 5xx, bloquant l’indexation par Google des pages optimisées pour le SEO, bien qu’elles soient correctement affichées pour les utilisateurs.
Marche à suivre :
- Programmez des alertes automatiques pour être prévenu en cas d’augmentation des erreurs 5xx ou 4xx via des outils comme Screaming Frog ou directement dans les logs.
- Corrigez les erreurs identifiées en vérifiant les conflits potentiels avec les plugins ou les paramètres du serveur.
- Testez les pages affectées après correction pour vous assurer que Googlebot peut les explorer correctement.
12. Optimiser les backlinks pour améliorer le crawl de Googlebot
Comment analyser ?
Les logs vous permettent de vérifier si certaines pages reçoivent une fréquence de crawl anormalement élevée par rapport à leur importance. Cela peut indiquer la présence de backlinks influents qui attirent Googlebot vers ces pages.
Exemple concret :
L’analyse des logs montre que des pages profondes, peu liées en interne, sont pourtant fréquemment explorées par Googlebot. Après enquête, vous découvrez que des backlinks provenant de forums pointent vers ces pages, augmentant la fréquence de crawl.
Marche à suivre :
- Reproduisez cette stratégie en créant des backlinks supplémentaires depuis des sites similaires vers vos pages importantes.
- Augmentez les liens internes depuis ces pages vers d’autres sections cruciales de votre site pour maximiser l’exploration de Google.
- Vérifiez dans les logs que le crawl de Googlebot augmente sur les pages ciblées après la création de backlinks.