Quelle est la différence entre crawler et indexer ?

Comprendre la différence entre crawler et indexer.

Beaucoup de termes utilisés dans le monde du référencement semblent être synonymes. Un exemple parfait de termes qui sont utilisés à tort comme synonymes est celui de “Crawl” et “Indexation”. Dans de nombreux articles sur le SEO, l'auteur amène le lecteur à croire que les deux mots signifient la même chose. Ce n'est certainement pas le cas. Alors… quelle est exactement la différence entre crawler et indexer ?

Qu'est-ce que le Crawl ?

Crawler est un terme utilisé lorsque un moteur de recherche (Google, par exemple) envoie son bot sur une page web ou un article web et “lit” la page. En français nous pourrions traduire ce terme par “exploration”. Il ne faut pas confondre le crawl avec l'indexation d'une page. Le crawl est la première étape pour qu'un moteur de recherche reconnaisse votre page et l'affiche dans les résultats de recherche. Le fait que votre page soit parcourue par un crawler ne signifie pas nécessairement que celle-ci a été indexée et qu'elle sera trouvée lors de la recherche des internautes. Les pages sont explorées pour diverses raisons… les plus courantes sont :

• avoir un plan de site que Google lit et qui pointe vers votre nouvelle page ou
• recevoir un backlink depuis un autre site, lui-même crawlé par le robot de Google

Comment forcer le crawl de Google ? 

Pour qu'un moteur de recherche viennent crawler une page, les façons les plus rapides sont :

• avoir un sitemap XML (plan de site) téléversé sur la Google Search Console (anciennement Google Webmaster Tools), donnant à Google la feuille de route pour tout votre nouveau contenu.
• publier son url sur Google+ (et ajouter un +1), désormais possible uniquement avec un compte GSuite,
• soumettre l'URL dans la Google Search Console
• utiliser un outil de Crawl comme Colinkri : cet outil force le crawl de Google sur les pages sounises.

Si Google a simplement parcouru votre page et l'a crawlé. Cela signifie que Google a examiné la page et, si Google pense que le contenu est “nouveau” ou qu'il a quelque chose à “offrir à Internet”, il peut programmer son indexation. De plus, lorsque Google crawle une page, il examine ses liens (internes et externes) et programme leur crawl. Le fait que votre page soit crawlée ne signifie en aucun cas qu'elle a été indexée : elle ne sera pas trouvée dans une recherche Google.

Qu'est-ce que l'indexation ?

L'indexation de votre page par Google est l'étape suivante du crawl. En aucun cas, tous les sites crawlés (explorés) ne sont indexés, mais tous les sites indexés ont dû être crawlés. Lors de son crawl, si Google juge votre nouvelle page digne d'être présente dans ses résultats de recherche, il l'indexera. Une fois votre page indexée, Google détermine comment votre page doit être trouvée dans sa recherche. Google décide ensuite des mots-clés et du classement de votre page lors des recherches associées.

Comment forcer Google à indexer une page ? 

Pour forcer l'indexation d'une page, vous pouvez utiliser des outils externes au moteur de recherche :

• bulkaddURL : un outil ultra performant pour l'indexation en quasi temps réel, mais un peu cher (0,02€ par URL).
• Omega Indexer : un outil bien pensé qui propose l'upload d'URL directement via un fichier csv. Son avantage : les crédits ne se périment pas.
• Index Inject : Les abonnements mensuels permettent à cet indexer d'être pas cher. Index Inject fonctionne bien. Malheureusement, les crédits non-utilisés sont perdus d'un mois sur l'autre.

Bon à savoir

Tous les liens présents sur la page indexée sont désormais programmés pour être crawlés par le robot Google. A priori, Google explore à un niveau de profondeur de 5. C'est à dire que le robot de Google va chercher jusqu'à cinq sites en aval. Cela signifie que si une page est liée à une page, qui est liée à une page, qui est liée à une page qui est liée à votre page (qui vient d'être indexée), alors ils seront tous explorés. C'est la raison pour laquelle les liens externes qui viennent sur votre site sont si importants. Plus la qualité de la page qui renvoie à votre site est élevée, plus vous serez bien classé dans la toute puissante recherche Google.