Big Budget, big success! Stimmt das wirklich? Jede Webseite bekommt von Google ein individuell berechnetes Crawl Budget. Wie genau die Suchmaschine über das Budget Deiner Webseite entscheidet und ob dieser Wert wichtig für einen erfolgreichen Internetauftritt Deines Unternehmens ist, erklären wir Dir hier!
Was ist ein Crawl Budget?
Ein Crawl Budget ist das Budget, also die Ressourcen, die Google aufbringt, um die Webseiten und die darauf zu findenden URLs zu crawlen. Das Crawling der Googlebots von Webseiten ist deshalb wichtig, weil damit von Google entschieden wird, welche Inhalte in der Google-Suche auftauchen. Allerdings hat nicht mal die große Suchmaschine Google ein unbegrenztes Budget und die Ressourcen sind pro Webseite eingeschränkt.
Wie wird über das Crawl Budget Deiner Seite entschieden?
Das Crawl Budget Deiner Seite wird von Google selbst festgelegt. Es wird bestimmt, wie viele Unterseiten pro URL gecrawlt werden sollen. Es ist nicht einfach auf die Webseiten aufgeteilt und jeder bekommt ein Stückchen vom Ressourcenkuchen, sondern ist unter anderem abhängig von dem PageRank Deiner Seite. Hat Deine Webseite einen hohen PageRank, wird das Budget dementsprechend danach gestaltet. Das Crawl Budget entscheidet zudem auch, wie häufig die ersten Schichten der Domain vom Googlebot gecrawlt werden und wie oft Deine Seite mit einem sogenannten „Deep-Crawl“ tiefergehend unter die Lupe genommen wird. Neben dem Page-Rank Deiner Seite spielen noch andere Faktoren eine wichtige Rolle, um das Budget Deiner Pages zu bestimmen. Das Crawl-Budget wird an jede Seite individuell angepasst. Entscheidende Fragen für den Crawler sind zum Beispiel: Wie groß ist die Webseite? Wie hoch ist die Fehlerhaftigkeit? Wie viele Backlinks sind zu finden?
Crawl-Bedarf +Crawl Rate = Crawl Budget
Das Crawl Budget entscheidet darüber, wie viele URLs maximal vom Googlebot gecrawlt werden können. Die Berechnung erfolgt anhand zwei wichtiger Faktoren:
- Crawl-Bedarf (Crawl Demand): Der Bedarf Deiner Webseite wird anhand ihrer Beliebtheit berechnet. Werden die URLs häufig aufgerufen, steigt auch der Crawl-Bedarf. Ebenso können sich hochwertige Inhalte positiv auf den Wert ausüben. Minderwertiger Content geht auf Kosten des Crawl-Bedarfes und verkleinert diesen. Eine Änderung der Domains kann zusätzlich helfen, den Crawl Demand zu erhöhen.
- Crawl Rate: Deine Crawl Rate ist abhängig von der Gesundheit Deiner Webseite (Crawl Health), also wie schnell Deine Seite reagiert. Es gibt zusätzlich die Möglichkeit, das Limit zu bestimmen. Das muss von dem Webmaster in der Google Search Console angegeben werden.
// Du willst Dein Wissen vertiefen?
Blog
Alles rund ums Online Marketing.
SEO WIKI
Unser Online Marketing Glossar.
Podcast
Online Marketing Podcast
Crawl Optimization
Mit dem Begriff Crawl Optimization ist ein Teilbereich in der SEO gemeint. Dazu gehören Maßnahmen, die den Googlebot zu den relevanten Seiten lenkt und hier sinnvoll das Budget genutzt wird. So wird sichergestellt, dass Content mit hoher Qualität gecrawlt und indexiert wird. Man muss dafür vorab Seiten mit minderwertigen Inhalt oder Fehlermeldungen identifizieren und vom Crawling ausschließen. Die relevanten Unterseiten müssen nun so gestaltet werden, dass sie von dem Crawler bevorzugt werden. Wir zeigen Dir im folgendem Absatz, wie das möglich ist!
Wie kann ich mein Crawl Budget optimieren?
Es ist durchaus möglich, sein Crawl Budget positiv zu beeinflussen. Welche Maßnahmen zur Crawl Optimization gehören, zeigen wir Dir hier:
- Inhalte regelmäßig aktualisieren. Das Erneuern und Hinzufügen von relevantem Content ist Teil des Pflichtprogramms einer guten Webseite und wird vom Crawler gern gesehen.
- Benutze die robots.txt – Datei. Damit wird das Scannen unwichtiger Seiten verhindert und diese können Dein Budget somit nicht verschlechtern.
- Broken Links reparieren. Defekte Links verweisen auf nicht mehr existierende Inhalte und haben somit keinen Mehrwert.
- Wenig Unterseiten verwenden. Eine flache Seitengestaltung erhöht die Wahrscheinlichkeit, dass der Googlebot alle URLs crawlt.
- Verbessere Deine internen Verlinkungen. Gut aufgebaute Verlinkungen erleichtern es dem Crawler, relevante Inhalte schnell zu finden.
- Duplikate aus dem Content nehmen. Doppelte oder geklaute Inhalte werden als minderwertig eingestuft.
- Canonical Tags verwenden. Diese Tags markieren den Duplicate Content mit einer Art Quellenangabe. So wird der doppelte Text vom Googlebot ignoriert und nicht gecrawlt.
All diese Maßnahmen gehören dazu, um hochwertigen Inhalt zu erstellen und sollten unabhängig des Crawl Budgets stets beim Erstellen guter Webseiten beachtet werden.
Jetzt mit Online Marketing durchstarten.
Steigere Deine Performance durch mehr Sichtbarkeit und Vertrauen in Deine Brand.
Ist das Crawl Budget relevant für SEO?
Ohne Crawling gibt’s kein Ranking und ohne ein Ranking taucht Deine Webseite auch nicht in den Suchmaschinenergebnissen auf. Wenn der Googlebot ohne Probleme wichtige Inhalte indexieren kann und Thin Content (minderwertiger Inhalt) ignoriert wird, wirkt sich das positiv auf Deine Seite aus. Das Crawl Budget gehört somit auch zu einem wichtigen Teil in der SEO. Eine crawl-optimierte Webseite verbessert das Ranking und Seiten mit einem besseren Ranking werden wiederum häufiger gecrawlt, was dann wieder Vorteile für die Webseite mitbringt. Ranking und Crawling gehen also Hand in Hand. Bei hochwertigem Content wird sich häufiges Crawling der Webseite auch positiv auf die Sichtbarkeit in den Suchergebnissen ausüben.
Welche Faktoren belasten mein Budget?
URLs, die keinen Mehrwert mit sich bringen, wirken sich negativ auf Deine Crawling Ressourcen aus. Um diese nutzlosen Faktoren von Deiner Webseite zu schmeißen und ein Belasten Deines Budgets zu vermeiden, zeigen wir Dir, welche dazu gehören:
- Spam: ungewollte und lästige Verweise mit beispielsweise Werbeinhalten reduzieren Deine Crawling Ressourcen.
- Soft Errors: Fehlerseiten sind für den Crawler nicht zugängig und bringen somit keinen Mehrwert für den Bot mit.
- Duplikate: Der Googlebot achtet auf die Einzigartigkeit des Contents. Doppelte und geklaute Inhalte belasten Dein Crawl Budget.
- Facettennavigation: Es gibt eine enorme Anzahl an Kombinationen der indexierbaren URLs, die hier verwendet werden. Gibt es Probleme mit einer, so bewertet der Crawler dies als negativ.
- Infinite Spaces: Es gibt zu viele Links für den Googlebot.
- Minderwertiger Content: Der Crawler findet keinen Mehrwert und somit keinen Grund für ein hohes Budget.
Ist Crawl Budget das Gleiche wie Index Budget?
Achtung, hier besteht Verwechslungsgefahr! Das Index-Budget und das Crawl Budget ähneln sich sehr, müssen allerdings voneinander unterschieden werden. Das Index Budget entscheidet, wie der Name schon preisgibt, wie viele URLs indexiert werden. Fehlerseiten einer Webseite, die mit dem Crawl Budget aufgerufen werden, beeinflussen das Crawl Budget negativ und ziehen Ressourcen von dem Budget ab. Eine Fehlerseite, die zum Beispiel einen 404-Fehlercode aufweist, kann jedoch nicht in den Index aufgenommen werden und deshalb auch das Budget nie komplett auslasten.
Jetzt mit Online Marketing durchstarten
Nutze Online Marketing um Deine Zielgruppen zu erreichen und mit Deinem Unternehmen zu wachsen.
Wie wichtig ist das Crawl Budget für Deine Webseite?
Als Besitzer einer kleinen oder mittelgroßen Webseite, muss man sich zum Glück keine großen Sorgen machen, dass das Budget nicht ausreicht. Laut Google reichen die Ressourcen für eine Webseite mit bis zu mehreren tausend URLs gut aus. Umso wichtiger ist es also, dass der Bot nur hochwertigen Inhalt auf Deiner Webseite vorfindet.
Für wen wird das Crawl Budget knapp?
Bei sehr großen Webseiten, die ihre Inhalte mit URL-Parametern erstellen und viele Unterseiten besitzen, kommt es zu möglichen Budget-Einschränkungen. Hier reicht das Budget nicht aus, um alle Inhalte zu crawlen und ein Indexieren der Seiten ist nicht möglich. Eine der Folgen davon ist ein Verlust von wichtigem Traffic, welcher wiederum wichtig für das Ranking der Seite ist. Hat eine Webseite also nicht genügend Budget, ist es dringend notwendig, den Inhalt der Seite mit den oben genannten Faktoren zu optimieren und so die Ressourcen zu erhöhen.
Zusammenfassung: Crawl Budget
Schlussendlich ist festzuhalten, dass es sich lohnt, das bereitgestellte Crawl Budget für Deine Webseite so effizient wie möglich zu nutzen. Es ist davon auszugehen, dass Google aufgrund der enorm hohen Anzahl an Webseiten zukünftig eher sparsamer mit den Ressourcen umgehen wird. Umso relevanter wird es, Dein Budget mit unseren genannten Maßnahmen zu optimieren. Letztendlich profitiert nicht nur Google davon, sondern Deine Webseite und Dein Unternehmen!
Timo Schnalzger
SEO//Content Marketing
Timo war schon in der Schule begeistert von der Literatur. Auf der Suche nach einem Studiengang geriet er an die Germanistik. Dort entdeckte er seine Liebe zum detaillierten Arbeiten an und mit Texten. Erste Gehversuche mit kreativem Schreiben unternahm er in seiner Zeit als Mitglied der studentischen Fachschaft. Jetzt kombiniert er alle diese Interessen und Fähigkeiten bei H&W.
Hier findest Du weitere Inhalte
