Robots TXT ist eine der kleinsten Dateien auf Ihrer WordPress-Seite – kann jedoch massive SEO-Folgen haben.
In diesem Video erfahren Sie, was Robots TXT tatsächlich macht, wie Sie es sicher in WordPress bearbeiten und die 14 häufigsten Robots TXT-Fehler, die Ihr Ranking leise ruinieren (oder Ihre gesamte Seite blockieren) können.
Erfahren Sie auch, wie Sie Ihre Regeln testen, schnell wiederherstellen, wenn etwas bereits kaputt ist, und wie WP Rocket Bots und Besuchern hilft, Ihre Seiten schneller zu laden – ohne riskante Robots TXT-Hacks.
Videokapitel:
01:09 Was macht Robots TXT?
01:33 Robots TXT-Direktiven, die Sie kennen sollten
02:12 Wie man Robots TXT in WordPress bearbeitet (Rank Math)
04:01 Brauchen Sie Robots TXT?
04:18 Vorteile von Robots TXT
04:46 Fehler #1: „Suchmaschinen entmutigen“ ist weiterhin aktiviert
05:01 Fehler #2: CSS oder JavaScript blockieren
06:28 Fehler #3: Robots TXT am falschen Ort
06:45 Fehler #4: Veraltete Direktiven (noindex, crawl-delay)
07:32 Fehler #5: Staging-Regeln in die Produktion kopieren
07:47 Fehler #6: Ihre Sitemap-Zeile vergessen
08:14 Fehler #7: Konfliktierende Regeln
08:52 Fehler #8: Robots TXT als „Sicherheit“ verwenden
09:33 Fehler #9: Wildcards (* und $) missbrauchen
10:01 Fehler #10: Absolute URLs in Disallow
10:25 Fehler #11: Probleme mit der Groß- und Kleinschreibung
10:40 Fehler #12: Verwirrung durch abschließenden Schrägstrich
11:02 Fehler #13: Subdomains vergessen
11:25 Fehler #14: Änderungen niemals testen
11:53 So stellen Sie sich von Robots TXT-Fehlern wieder her
13:14 Robots TXT + Leistung: Warum Geschwindigkeit so wichtig ist
Beispiele für Robots TXT, die im Video erwähnt werden:
• Ein solides Standard-Robots TXT für viele WordPress-Seiten
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
• Ihre gesamte Seite blockieren (nicht in der Produktion tun)
User-agent: *
Disallow: /
• Konfliktierende Regeln (unvorhersehbares Crawling-Verhalten)
User-agent: *
Disallow: /blog/
Allow: /blog/
• PDF-Dateien blockieren (vorsichtig verwenden)
Disallow: /*.pdf$
• Verwenden Sie relative Pfade in Disallow-Regeln
Korrekt:
Disallow: /private/
Falsch:
Tools & Plugins, die erwähnt werden:
Robots TXT-Bearbeitungs-Plugin (Demo):
Leistungs-Plugin:
Crawling + Test-Tool:
Abonnieren Sie hier, um mehr über Web-Performance und WP Rocket zu erfahren:
Verbinden Sie sich mit WP Rocket:
WP Rocket ist das All-in-One-Leistungs-Plugin, dem über 5 Millionen Websites vertrauen. Mit Funktionen wie Seiten-Caching (einschließlich mobilem Caching), Cache-Vorladung, GZIP-Kompression und Dateioptimierungsoptionen wie Minifizierung, Entfernen von ungenutztem CSS, Verzögerung von JavaScript und Verzögerung der JavaScript-Ausführung hilft WP Rocket, Ihre Seiten schnell für sowohl Besucher als auch Crawler zu laden.
Bereit, die Crawling-Effizienz und Ladezeiten zu verbessern? Steigern Sie die Geschwindigkeit Ihrer Seite noch heute mit WP Rocket! 🚀