#robotstxt #onescales
Ce tutoriel vidéo vous apprend tout sur robots.txt :
Pourquoi vous en avez besoin, quel est son but et vous montre un outil de test avec des exemples concrets pour mieux le comprendre.
Nous abordons les sujets suivants :
1. Qu'est-ce que Robots.Txt
2. Directives et Comment Écrire
3. Termes
- Agent Utilisateur
- Autoriser
- Interdire
- Sitemap
- Commentaires
- Crawl-Delay
- Caractères génériques
4. Limitations
5. Outil de Test