Le fichier Robots TXT est l'un des plus petits fichiers de votre site WordPress - mais il peut avoir d'énormes conséquences en matière de SEO.
Dans cette vidéo, vous apprendrez ce que fait réellement Robots TXT, comment l'éditer en toute sécurité dans WordPress, et les 14 erreurs les plus courantes de Robots TXT qui peuvent discrètement nuire à votre référencement (ou bloquer l'ensemble de votre site).
Apprenez également comment tester vos règles, récupérer rapidement si quelque chose est déjà cassé, et comment WP Rocket aide les robots et les visiteurs à charger vos pages plus rapidement — sans hacks risqués de Robots TXT.
Chapitres de la vidéo :
01:09 Que fait Robots TXT ?
01:33 Directives Robots TXT à connaître
02:12 Comment éditer Robots TXT dans WordPress (Rank Math)
04:01 Avez-vous besoin de Robots TXT ?
04:18 Avantages de Robots TXT
04:46 Erreur n°1 : « Décourager les moteurs de recherche » toujours activé
05:01 Erreur n°2 : Blocage de CSS ou JavaScript
06:28 Erreur n°3 : Robots TXT au mauvais emplacement
06:45 Erreur n°4 : Directives obsolètes (noindex, crawl-delay)
07:32 Erreur n°5 : Copier les règles de staging en production
07:47 Erreur n°6 : Oublier votre ligne Sitemap
08:14 Erreur n°7 : Règles conflictuelles
08:52 Erreur n°8 : Utiliser Robots TXT comme « sécurité »
09:33 Erreur n°9 : Mauvaise utilisation des jokers (* et $)
10:01 Erreur n°10 : URLs absolues dans Disallow
10:25 Erreur n°11 : Problèmes de sensibilité à la casse
10:40 Erreur n°12 : Confusion avec le slash final
11:02 Erreur n°13 : Oublier les sous-domaines
11:25 Erreur n°14 : Ne jamais tester les changements
11:53 Comment récupérer des erreurs de Robots TXT
13:14 Robots TXT + Performance : Pourquoi la vitesse est si importante
Exemples de Robots TXT mentionnés dans la vidéo :
• Un Robots TXT par défaut solide pour de nombreux sites WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
• Blocage de l'ensemble de votre site (ne faites pas cela en production)
User-agent: *
Disallow: /
• Règles conflictuelles (comportement de crawl imprévisible)
User-agent: *
Disallow: /blog/
Allow: /blog/
• Blocage des fichiers PDF (à utiliser avec précaution)
Disallow: /*.pdf$
• Utilisez des chemins relatifs dans les règles Disallow
Correct :
Disallow: /private/
Incorrect :
Outils et plugins mentionnés :
Plugin d'édition de Robots TXT (Démo) :
Plugin de performance :
Outil de crawl + test :
Abonnez-vous ici pour en savoir plus sur la performance web et WP Rocket :
Connectez-vous avec WP Rocket :
WP Rocket est le plugin de performance tout-en-un de confiance pour plus de 5 millions de sites web. Avec des fonctionnalités telles que la mise en cache des pages (y compris la mise en cache mobile), le préchargement du cache, la compression GZIP, et des options d'optimisation des fichiers comme la minification, la suppression du CSS inutilisé, le report de JavaScript, et le retard d'exécution de JavaScript, WP Rocket aide vos pages à se charger rapidement pour les visiteurs et les robots.
Prêt à améliorer l'efficacité du crawl et les temps de chargement ? Améliorez la vitesse de votre site avec WP Rocket dès aujourd'hui ! 🚀