#seo #robots
Robots.txt ist eine Textdatei, die Crawlern mitteilt, welche Dateien oder URLs der Website nicht gecrawlt werden sollen. Daher wird robots.txt als Protokoll zur Ausschluss von Seiten bezeichnet, im Gegensatz zu sitemap.xml, das als Protokoll zur Einbeziehung von Seiten bezeichnet wird, da es den Crawlern sagt, bestimmte URLs zu crawlen.
Robots.txt befindet sich im Stammverzeichnis der Website und heißt „robots.txt“, alles in Kleinbuchstaben. Wenn diese Datei nicht gefunden wird, crawlen die Crawler alle URLs und Dateien.
Aber warum sollten Sie URLs oder Dateien vor Crawlern verbergen? Die Antwort ist, dass es einige schlechte Crawler gibt, vor denen Sie Ihre Website schützen möchten. Oder es gibt einige Dateien, die sich im Entwicklungsmodus befinden und die Sie nicht anzeigen möchten, bis die Entwicklung abgeschlossen ist. Oder manchmal gibt es bestimmte Websites, für die Admin-Panels vorhanden sind, um die Daten zu verwalten, die nicht öffentlich zugänglich sein sollten. Daher sollten sie nicht gecrawlt werden.
Jetzt werden wir sehen, wie man bestimmte Bereiche der Website vom Crawlen abhalten kann. Dazu müssen Sie lernen, wie man robots.txt schreibt.
Es gibt 5 Direktiven, die in robots.txt verwendet werden: User-agent, disallow, allow, crawl-delay und sitemap.
In der User-agent-Direktive können Sie den Namen des User Agents definieren, für den die Regel gelten soll. Zum Beispiel Googlebot, Bingbot usw. Wenn Sie die Regel für alle User Agents anwenden möchten, können Sie einfach das *-Symbol verwenden. Sie können mehrere User Agents mit unterschiedlichen Regeln für jeden User Agent angeben. Oder wenn Sie die gleiche Regel für mehrere User Agents haben, können Sie diese Direktive mehrmals mit einer Disallow-Direktive angeben. Sie können die Liste der schlechten User Agents herunterladen und diese in Ihrer robots.txt ausschließen.
In der Disallow-Direktive können Sie die Ordner oder Dateien angeben, die Sie ausschließen möchten. Sie können mehrere Disallow-Direktiven für einen User Agent haben. Sie können auch Wildcard-Einträge verwenden. Zum Beispiel, wenn Sie alle URLs, die mit .pdf enden, ausschließen möchten, sollten Sie die Disallow-Direktive als *.pdf$ angeben. Bitte beachten Sie, dass, wenn Sie einen Eintrag ohne $-Zeichen angegeben haben, alle URLs ausgeschlossen werden, die .pdf enthalten, und nicht nur die URLs, die mit .pdf enden. Zum Beispiel wird auch ticket.pdf?id=123 ausgeblendet. Wenn Sie also Ihre Dokumentations- oder Datendateien vor der Suche verbergen möchten, können Sie dieses Wildcard verwenden. Zum Beispiel können Sie Ihre Excel- und Word-Dateien mit *.xls$ und *.doc$ ausblenden.
Wenn Sie eine bestimmte Datei oder ein Verzeichnis aus einem ausgeschlossenen Verzeichnis zulassen möchten, können Sie die Allow-Direktive verwenden. Zum Beispiel, wenn Sie alle Dateien aus dem Verzeichnis banners ausschließen möchten, außer homebanner.jpg, können Sie die Direktiven wie folgt angeben. Bitte beachten Sie, dass Sie in diesem Fall die Allow-Direktive vor der Disallow-Direktive angeben müssen.
In der Crawl-delay-Direktive können Sie die Anzahl der Millisekunden angeben, die ein Crawler warten sollte, bevor er den Seiteninhalt lädt und crawlt. Da dieser Wert nicht Teil des Standards ist, hängt seine Interpretation vom Crawler ab, der ihn liest.
In der Sitemap-Direktive sollten Sie die absolute URL zu Ihrer sitemap.xml angeben. Bitte beachten Sie, dass diese Direktive unabhängig geschrieben wird. Sie wird nicht zusammen mit der User-agent-Direktive geschrieben. Diese Direktive sollte am Ende der Datei geschrieben werden. Sie können mehrere Sitemap-Direktiven haben, wenn Sie mehrere Sitemaps für Ihre Website haben.
Von diesen 5 Direktiven sind User-agent und Disallow die Hauptdirektiven. Die anderen Direktiven sind optional.
Beim Schreiben von robots.txt können Sie Kommentare in der Datei für Ihr Verständnis hinzufügen. Kommentare beginnen mit dem ‚#‘-Symbol und können am Anfang der Zeile oder nach der Direktive geschrieben werden.
Denken Sie daran, dass Sie robots.txt im Stammverzeichnis Ihrer Website speichern müssen, und wenn Sie eine Subdomain haben, müssen Sie eine separate robots.txt dafür führen. Außerdem benötigt jedes Protokoll und jeder Port seine eigene robots.txt-Datei. Zum Beispiel
http://www.example.com/, https://www.example.com/ und
http://example.com:8080/ hätten separate robots.txt-Dateien.