Sie werden ein Verständnis für Suchcrawler und die optimale Budgetierung für sie gewinnen.
0:05 Optimierung des Crawl Budgets und deren Bedeutung
1:03 Faktoren, die das Crawl Budget beeinflussen
1:29 Zugänglichkeit
1:49 Effizienz
1:54 Seitenaufrufe
2:08 Crawling-Rate
2:42 Ziele der Crawl Budget-Optimierung
3:27 Google Search Console nutzen
✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹
Sie könnten es nützlich finden:
Optimieren Sie die interne Verlinkung Ihrer Website mit dem Site Audit Tool:
Verstehen Sie, wie Google-Bots mit Ihrer Website interagieren, indem Sie den Log File Analyzer verwenden:
Erfahren Sie, wie Sie SEMrush Site Audit in unserem kostenlosen Kurs nutzen:
✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹
Einer der wichtigsten und komplexesten Aspekte von SEO ist, wie man Suchcrawler richtig steuert und wie man mit dem umgeht, was wir als Crawl Budget bezeichnen. Warum ist das wichtig?
Der Hauptgrund ist, dass Crawling sehr teuer ist. Zum Beispiel kostete eines der neuesten Rechenzentren, das Google in den Niederlanden gebaut hat, rund 770 Millionen US-Dollar.
Die Betriebskosten sind ebenfalls hoch – mehr als 10 Milliarden USD pro Jahr.
Also fließt viel Geld in das Crawling, und das ist der Grund, warum Google ein Budget anwenden muss. Ihre Crawling-Ressourcen müssen effizient und wirtschaftlich genutzt werden. Ressourcen werden in Einheiten von „Rechenzentrums-Rechenzeit“ pro Domain bereitgestellt – das bedeutet, dass die Optimierung des Crawl Budgets darauf abzielt, Google zu helfen, mit weniger mehr zu erreichen.
Verschiedene Faktoren beeinflussen das Crawl Budget, zum Beispiel
das Alter der Domain (das heißt, je älter, desto besser)
das Linkprofil, das die Autorität und Vertrauenswürdigkeit einer Domain widerspiegelt. Je stärker das Gesamtprofil ist, desto mehr Budget können Sie erhalten.
Die Größe der Domain (also die Anzahl der URLs)
Auch die Frische des Inhalts (zum Beispiel die Menge an neuem Inhalt)
Für erstklassiges Crawling ist die Zugänglichkeit wichtig. Sie sollten sicherstellen, dass alle Links tatsächlich lesbar und erreichbar sind und dass Sie die richtigen HTTP-Statuscodes verwenden. Wichtige Inhalte sollten gegenüber weniger wichtigen Materialien priorisiert werden, damit sie zuerst gecrawlt werden. Schließlich sollte auf die Effizienz geachtet werden. Das bedeutet, dass es keine doppelten oder dünnen Seiten gibt. Die Seitenladegeschwindigkeit ist ein weiterer wichtiger Faktor. Allgemein gesagt, je mehr URLs Sie blitzschnell bereitstellen können, desto effektiver werden Sie bei der Zuteilung der Rechenzeit des Google-Rechenzentrums sein.
Lassen Sie uns auch einen kurzen Blick darauf werfen, was die Crawling-Rate tatsächlich bedeutet. Eine ordentliche Definition wäre: Die Anzahl der Crawlanfragen (Zugriffe) durch den Crawler einer Suchmaschine (Google) in einem bestimmten Zeitraum (24 Stunden) auf einer Domain oder innerhalb eines Verzeichnisses.
Als Nächstes definieren wir einige potenzielle Ziele für die Optimierung des Crawl Budgets:
Wir möchten, dass die Domain so gründlich wie möglich gecrawlt wird – wir möchten, dass Google all unsere Inhalte findet.
Änderungen müssen schnell erkannt werden. Wir müssen sicherstellen, dass die Inhalte, die wir produzieren, so schnell wie möglich gefunden werden. Und wenn Sie diesen Inhalt aktualisieren, möchten Sie, dass Google dies ebenfalls so schnell wie möglich erkennt. Angenommen, Sie haben den Preis für ein Produkt in Ihrem Shop aktualisiert – dies sollte so schnell wie möglich in den Google SERPs angezeigt werden.
Ein weiterer Punkt ist, dass Ressourcen wirtschaftlich und effizient arbeiten müssen, das bedeutet, Sie möchten sicherstellen, dass Google mit Ihrer Serverinfrastruktur auf die bestmögliche Weise umgeht.
Letztlich geht es darum, Ihre Serverinfrastruktur wirtschaftlich zu nutzen; wenn Google Unmengen irrelevanter Inhalte auf Ihrer Domain crawlt, kostet Sie das im Wesentlichen Geld.
Ein guter Ausgangspunkt ist die Verwendung der Google Search Console. Gehen Sie zum Tab Crawl-Statistiken - dies gibt Informationen darüber, wie viele Seiten pro Tag gecrawlt werden – Sie können diese Informationen als Basis verwenden und den Trend im Auge behalten.
Beachten Sie: Je nach Größe der Domain kann die Auswirkung unterschiedlich sein. Wenn die Domain relativ klein ist, sagen wir, sie hat 100 oder 1.000 URLs, ist die Auswirkung deutlich weniger signifikant als im Fall einer Domain mit 100.000 URLs oder mehr. Google bestätigt dies in ihrem Webmaster Central Blog: „Das Verschwenden von Serverressourcen auf Seiten […] wird die Crawling-Aktivität von Seiten abziehen, die tatsächlich Wert haben, was zu einer erheblichen Verzögerung bei der Entdeckung großartiger Inhalte auf einer Website führen kann.“
Letztendlich sollten Sie sicherstellen, dass Sie wissen, welche Art von Inhalten auf Ihrer Domain vorhanden ist, und entscheiden, ob Sie möchten, dass sie indexiert und/oder gecrawlt wird. Wenn nicht, gibt es verschiedene Arten von Anweisungen und Regeln, die Sie anwenden können, um sicherzustellen, dass sie den Inhalt nicht crawlen oder indexieren. Machen Sie einfach mit diesem Kapitel weiter.
#TechnicalSEO #TechnicalSEOcourse #CrawlBudgetOptimization #SEMrushAcademy