#robotstxt #onescales
Dieses Video-Tutorial erklärt dir, was robots.txt ist:
Warum du es brauchst, welchen Zweck es erfüllt und zeigt dir ein Testtool mit realen Beispielen, um es besser zu verstehen.
Wir besprechen die folgenden Themen:
1. Was ist Robots.Txt
2. Richtlinien und wie man schreibt
3. Begriffe
- User Agent
- Allow
- Disallow
- Sitemap
- Kommentare
- Crawl-Delay
- Platzhalter
4. Einschränkungen
5. Testtool