In diesem praktischen Leitfaden tauchen wir in das Thema robots.txt ein – ein leistungsstarkes Werkzeug für Webmaster. Wir erfahren, was diese Datei ist, wie sie funktioniert, welche Möglichkeiten sich durch ihre richtige Konfiguration eröffnen und aus welchen wichtigen Direktiven sie besteht. Wir werden jeden Schritt der Arbeit mit robots.txt im Detail durchgehen, besprechen, wie Ihre Einstellungen die Indizierung Ihrer Website durch die Suchmaschinen Google und Yandex beeinflussen und wie Sie Teile Ihrer Website mit disallow/allow von der Suche ausschließen können.
Zeitcodes:
00:00 Einführung
00:36 robots.txt – Definition und Zweck
1:40 Prozess der Konfiguration – Schritt-für-Schritt-Anleitung
2:52 Diagnose – in welchen Fällen eine Anpassung von robots.txt erforderlich ist
4:24 Einblicke – Tipps und Tricks zur Verwendung von robots.txt
6:18 Anleitung zu den Direktiven User-agent – Einstellungen für verschiedene Suchmaschinen
8:33 Indizierungseinstellungen – Parameter für Yandex und Google
9:29 Wie man den Blog von der Indizierung ausschließt – Verwendung von disallow/allow
14:20 Verwendung von Clean-param – was ist das und wie wird es angewendet
17:24 Obligatorische Direktiven – Sitemap, Host, Crawl-delay und deren Bedeutung