Vous allez comprendre les robots d'exploration et comment optimiser votre budget pour eux.
0:05 Optimisation du budget de crawl et son importance
1:03 Facteurs influençant le budget de crawl
1:29 Accessibilité
1:49 Efficacité
1:54 Vues de page
2:08 Taux de crawl
2:42 Objectifs de l'optimisation du budget de crawl
3:27 Utilisez Google Search Console
✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹
Vous pourriez trouver cela utile :
Améliorez le maillage interne de votre site avec l'outil Site Audit :
Comprenez comment les bots de Google interagissent avec votre site en utilisant l'Analyseur de fichiers journaux :
Apprenez à utiliser SEMrush Site Audit dans notre cours gratuit :
✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹
L'un des aspects les plus importants et complexes du SEO est de savoir comment contrôler correctement les robots d'exploration et comment gérer ce que nous appelons le budget de crawl. Pourquoi est-ce important ?
La raison principale est que le crawl est très coûteux. Par exemple, l'un des centres de données les plus récents que Google a construits aux Pays-Bas a coûté environ 770 millions de dollars américains.
Les coûts d'exploitation sont également élevés – plus de 10 milliards de dollars chaque année.
Donc, beaucoup d'argent est investi dans le crawl et c'est la raison pour laquelle Google doit appliquer un budget. Leurs ressources de crawl doivent être utilisées de manière efficace et économique. Les ressources sont fournies en unités de « temps de calcul de centre de données » par domaine – donc essentiellement, l'optimisation du budget de crawl vise à aider Google à réaliser plus avec moins.
Différents facteurs impactent le budget de crawl, par exemple
l'âge du domaine (c'est-à-dire, plus il est ancien, mieux c'est)
le profil de lien, qui reflète l'autorité et la fiabilité d'un domaine. Plus le profil global est fort, plus vous pouvez obtenir de budget.
La taille du domaine (en termes de nombre d'URLs)
Aussi la fraîcheur du contenu (par exemple, la quantité de nouveau contenu)
Pour un crawl de premier ordre, l'accessibilité est importante. Vous devez vous assurer que tous les liens sont réellement lisibles et accessibles, et que vous utilisez des codes d'état HTTP appropriés. Le contenu important doit être priorisé par rapport au matériel moins important afin qu'il soit crawlé en premier. Enfin, il faut prêter attention à l'efficacité. Cela signifie qu'il ne doit pas y avoir de pages dupliquées ou peu fournies. La vitesse de chargement des pages est un autre facteur important à considérer. En général, plus vous pouvez servir d'URLs rapidement, plus vous serez efficace dans l'allocation du temps de calcul du centre de données de Google.
Jetons également un coup d'œil à ce que signifie réellement le taux de crawl. Une définition appropriée serait : le nombre de requêtes de crawl (accès) par le robot d'exploration d'un moteur de recherche (Google) sur un domaine ou dans un répertoire donné pendant une certaine période (24 heures).
Ensuite, définissons quelques objectifs potentiels pour l'optimisation du budget de crawl :
Nous voulons que le domaine soit crawlé aussi complètement que possible – donc nous voulons que Google trouve tout notre contenu.
Les changements doivent être détectés rapidement. Nous devons être sûrs que le contenu que nous produisons sera trouvé dès que possible. Et si vous mettez à jour ce contenu, vous voulez que Google l'identifie dès que possible également. Dites que vous avez mis à jour un prix pour un produit dans votre boutique – cela devrait être reflété dans les SERP de Google dès que possible.
Un autre point est que les ressources doivent fonctionner de manière économique et efficace, cela signifie que vous voulez être sûr que Google gère votre infrastructure serveur de la meilleure manière possible.
Enfin, il s'agit d'utiliser votre infrastructure serveur de manière économique ; si Google crawle des tonnes de contenu non pertinent sur votre domaine, cela vous coûte essentiellement de l'argent.
Un bon point de départ est d'utiliser Google Search Console. Allez dans l'onglet des statistiques de crawl - cela donne des informations sur le nombre de pages crawled par jour – vous pouvez utiliser ces informations comme base de référence et surveiller la tendance.
Gardez à l'esprit : selon la taille du domaine, l'impact peut différer. Si le domaine est relativement petit, disons qu'il a 100 ou 1 000 URLs, l'impact est clairement moins significatif que dans le cas d'un domaine avec 100 000 URLs ou plus. Google le confirme dans son blog Webmaster Central : « Gaspiller des ressources serveur sur des pages […] va drainer l'activité de crawl des pages qui ont réellement de la valeur, ce qui peut entraîner un retard significatif dans la découverte de contenu de qualité sur un site ».
En fin de compte, assurez-vous de savoir quel type de contenu existe sur votre domaine et décidez si vous souhaitez qu'il soit indexé et/ou crawlé. Si ce n'est pas le cas, il existe divers types de directives et de règles que vous pouvez appliquer pour vous assurer qu'ils ne crawlent pas ou n'indexent pas le contenu. Continuez simplement avec ce chapitre.
#SEOtechnique #CoursSEOtechnique #OptimisationBudgetCrawl #SEMrushAcademy