Was ist eine robots.txt-Datei und wie beeinflusst sie die Indexierbarkeit von Websites? Begleiten Sie Martin Splitt in diesem Search Lightning Talk, während er erklärt, wie robots.txt mit robots-Meta-Tags, HTTP-Headern interagiert und wie Sie diese nutzen können, um den Zugriff von Suchmaschinen-Crawlern auf Ihre Website zu steuern.
Kapitel:
0:00 - Einführung
0:17 - Warum benötige ich robots.txt?
0:40 - Was ist das robots-Meta-Tag?
2:47 - Wann sollte ich noindex vs. disallow verwenden?
3:48 - Warum crawlt Googlebot immer noch bestimmte Seiten?
5:14 - Fazit
#GoogleSearch #SearchLightningTalks
Referent: Martin Splitt
Erwähnte Produkte: Search Console