Zwei Zeilen in robots.txt haben leise einen gesamten Online-Shop aus den Suchergebnissen entfernt – und kein Überwachungssystem hat es bemerkt, weil technisch gesehen nichts kaputt war.
Was behandelt wird:
— Was robots.txt tatsächlich macht (und warum es kein Sicherheitstool ist)
— Das größte Missverständnis: Disallow ≠ Seiten aus der Suche entfernen
— Wie Disallow und noindex miteinander in Konflikt stehen
— Syntax-Analyse: Wildcards, Allow-Regeln und wie Konflikte gelöst werden
— Yandex-spezifische Direktiven (Clean-param, Crawl-delay)
— Die häufigsten robots.txt-Fehler während Migrationen
— Wie KI-Crawler (GPTBot, ClaudeBot, CCBot) robots.txt verwenden
— Das neue llms.txt-Format und was es für KI-Agenten bedeutet
— Wie Sie Ihr eigenes robots.txt in der Search Console und Yandex Webmaster überprüfen können
Wenn Sie jemals eine Website migriert haben oder sich gefragt haben, warum der Verkehr plötzlich gesunken ist, ist dies die Datei, die Sie zuerst überprüfen sollten.
#robotstxt #SEO #TechnischesSEO #Suchmaschinenoptimierung #WebDev #WebsiteMigration #GoogleSearchConsole #Noindex #CrawlBudget #AICrawler
Erstellt mit einem KI-Avatar. Die Visualisierungen sind illustrativ. Der Inhalt dient Informationszwecken.