Was ist das Crawl-Budget und ist es wichtig?

Das Crawl-Budget ist die Anzahl der URLs einer Website, die Google in einem bestimmten Zeitraum crawlen kann und will. Zwei Faktoren bestimmen es: das Crawling-Kapazitätslimit (wie viel Crawling Ihr Server verkraftet) und die Crawling-Nachfrage (wie stark Google Ihre Inhalte crawlen möchte). Am wichtigsten ist es für große oder häufig geänderte Websites, bei denen Seiten unentdeckt oder unindexiert bleiben können.

Das Crawl-Budget entscheidet darüber, ob Google Ihre Inhalte überhaupt sieht, bevor sie ranken können. Für die meisten kleinen Marketing-Websites ist das kein Thema. Bei SaaS-Unternehmen mit weitläufigen Produkt-, Funktions- und Dokumentationsseiten bedeutet verschwendetes Crawl-Budget jedoch, dass echte Seiten in den Suchergebnissen unsichtbar bleiben.

Was bestimmt Ihr Crawl-Budget?

Google definiert das Crawl-Budget über zwei zusammenwirkende Elemente. Die Zeit und die Ressourcen, die Google für das Crawling einer Website aufwendet, bezeichnet man üblicherweise als Crawl-Budget der Website. Zwei Hauptelemente bestimmen es: das Crawling-Kapazitätslimit und die Crawling-Nachfrage.

Das Crawling-Kapazitätslimit ist die technische Obergrenze. Google möchte Ihre Website crawlen, ohne Ihre Server zu überlasten. Deshalb berechnen die Crawler von Google ein Crawling-Kapazitätslimit: die maximale Anzahl gleichzeitiger paralleler Verbindungen, die Google für das Crawling einer Website nutzen kann, sowie die Wartezeit zwischen den Abrufen. Ein langsamer oder fehleranfälliger Server verringert diesen Wert direkt.

Die Crawling-Nachfrage ist die Seite des Interesses. Eine wesentliche Rolle bei der Crawling-Nachfrage spielt der wahrgenommene Bestand: Ohne Vorgaben von Ihnen versucht Google, alle oder die meisten URLs Ihrer Website zu crawlen, die es kennt. Sind viele dieser URLs Duplikate oder unwichtig, geht dabei viel Crawling-Zeit von Google auf Ihrer Website verloren. Auch Beliebtheit, Aktualität und Inhaltsqualität fließen in diese Berechnung ein.

Das Crawl-Budget ist keine feste Zahl, die einmal vergeben wird. Es verändert sich mit Ihrer Website, und Google berechnet es pro Hostnamen und nicht pro Domain. So zählen etwa eine Haupt-Marketing-Website und eine Subdomain für die Dokumentation als zwei verschiedene Hostnamen, jeweils mit einem eigenen Crawl-Budget. Diese Unterscheidung ist wichtig für SaaS-Unternehmen, die eine Docs-Subdomain getrennt von ihrer Marketing-Website betreiben.

Warum ist das Crawl-Budget für SaaS-Unternehmen wichtig?

Nicht jede Website muss sich mit dem Crawl-Budget befassen. Wenn neue Seiten in der Regel noch am Tag der Veröffentlichung gecrawlt werden, müssen sich Webmaster nicht darum kümmern, und eine Website mit weniger als ein paar tausend URLs wird meist effizient gecrawlt. Die Hinweise von Google selbst grenzen das Thema weiter auf bestimmte Website-Profile ein.

SaaS-Plattformen gehören häufig zu den Websites, die darauf achten müssen. Produktseiten, Integrationsübersichten, Use-Case-Seiten und Preisstufen vermehren sich schnell, und jede davon ist eine eigene URL, die um dasselbe begrenzte Crawling-Kontingent konkurriert. Wächst dieser Bestand über einen gewissen Punkt hinaus, ohne dass eine passende Struktur mitwächst, landen Seiten in einer Warteschlange, statt zeitnah gecrawlt zu werden.

Die praktische Folge eines überschrittenen Crawl-Budgets zeigt sich in einem bestimmten Bericht. Google zeigt Seiten nicht in den Suchergebnissen an, selbst wenn sie gecrawlt wurden, sofern dem Inhalt ausreichender Wert oder Nutzernachfrage fehlt. Nicht gecrawlte Seiten können gar nicht für die Indexierung bewertet werden. Sie können daher nicht um Rankings konkurrieren, egal wie stark der Inhalt auf der Seite ist.

Das ist ein eigenständiges Konzept und nicht dasselbe wie das Ranking. Eine höhere Crawling-Rate führt nicht zwangsläufig zu besseren Positionen in den Suchergebnissen, denn Google nutzt Hunderte von Signalen für das Ranking. Crawling ist zwar Voraussetzung dafür, in den Ergebnissen zu erscheinen, aber selbst kein Ranking-Signal. Das Crawl-Budget steuert die Entdeckung und die Indexierungsgeschwindigkeit, nicht die Position einer Seite nach der Indexierung. Für ein wachsendes SaaS-Unternehmen ist dieser Entdeckungsschritt das Tor, das jede weitere SEO-Maßnahme zuerst passieren muss. Der Ansatz von Seedling für organisches Wachstum bei SaaS-Teams versteht dieses Tor als grundlegenden Gesundheitscheck, denn Content-Strategie und Keyword-Targeting bringen nichts, wenn die Seiten, die ranken sollen, gar nicht erst gecrawlt werden.

Was verschwendet Crawl-Budget?

Google stellt klar, dass bestimmte URL-Muster unbemerkt Crawling-Kapazität verbrauchen, ohne einen Mehrwert für die Suche zu liefern. Häufige Ursachen sind:

• Facettennavigation und Sitzungsparameter. Facettennavigation erzeugt in der Regel Duplicate Content der Website. Sitzungskennungen und andere URL-Parameter, die eine Seite lediglich sortieren oder filtern, liefern keine neuen Inhalte.
• Duplicate Content. Duplicate Content zu konsolidieren heißt, ihn zu beseitigen, damit sich das Crawling auf einzigartige Inhalte statt auf einzigartige URLs konzentriert.
• Soft-404-Seiten. Geben Sie einen 404-Code zurück, wenn eine Seite nicht mehr existiert, statt sie als Soft 404 bestehen zu lassen.
• Noindex-Tags als Abkürzung. Verlassen Sie sich nicht auf noindex als Abkürzung: Google ruft die Seite trotzdem ab und verwirft sie erst, wenn es ein noindex-Meta-Tag oder einen entsprechenden Header in der HTTP-Antwort sieht. Das verschwendet Crawling-Zeit.
• Robots.txt für den falschen Zweck. Nutzen Sie die robots.txt nicht, um Crawl-Budget vorübergehend auf andere Seiten umzuverteilen, sondern um Seiten zu sperren, die Google gar nicht crawlen soll. Google verschiebt neu verfügbares Crawl-Budget nicht auf andere Seiten, solange es nicht bereits das Auslieferungslimit Ihrer Website erreicht.

Gerade bei SaaS-Websites ist stark JavaScript-lastiges Rendering ein häufiger Verursacher. Clientseitig gerenderte Preistabellen, Funktionslisten oder Produktbeschreibungen zwingen Googlebot oft, zusätzliche Ressourcen für das Rendern aufzuwenden, bevor er die Seite überhaupt bewerten kann. Das verlangsamt das Crawling aller anderen Seiten der Website.

Wie prüfen und optimieren Sie Ihr Crawl-Budget?

Die Google Search Console ist das wichtigste Diagnosewerkzeug. Der Bericht „Crawling-Statistiken“ unter „Einstellungen“ zeigt die Crawling-Aktivität der letzten 90 Tage. In Kombination mit einer Logfile-Analyse zeigt sich genau, für welche URLs Googlebot Zeit aufwendet und welche davon für das Unternehmen tatsächlich wichtig sind.

Das deutlichste Warnsignal ist ein bestimmter Status in der Search Console. Google weist darauf hin, dass Crawl-Budget-Probleme vor allem Websites mit sehr vielen, regelmäßig aktualisierten Seiten betreffen, Websites mit einer mittleren bis großen Zahl sehr häufig aktualisierter Seiten sowie Websites mit einem hohen Anteil an Seiten mit dem Status „Gefunden – zurzeit nicht indexiert“, was auf ineffizientes Crawling hindeutet. Steigt die Zahl in diesem Status, und zwar bei Seiten, die Sie für wertvoll halten, ist das das stärkste Indiz dafür, dass das Crawl-Budget Ihre Sichtbarkeit tatsächlich einschränkt und nicht etwas anderes.

Nach der Diagnose grenzt Google die Lösung auf zwei Hebel ein. Das Crawl-Budget lässt sich nur erhöhen, indem Sie Ihre Auslieferungskapazität für Crawling erweitern und, noch wichtiger, den Wert Ihrer Inhalte für Suchende steigern, denn Google legt die Crawling-Ressourcen anhand von Beliebtheit, Nutzerwert, Einzigartigkeit und Auslieferungskapazität fest. In der Praxis heißt das: Serverantwortzeiten verbessern, doppelte URLs mit Canonical-Tags konsolidieren, XML-Sitemaps bereinigen, sodass sie nur indexierbare Seiten enthalten, und die interne Verlinkung stärken, damit Seiten mit Priorität leicht erreichbar sind.

Ein verbreiteter Irrtum: Bedeutet mehr Crawling bessere Rankings?

Viele Teams gehen davon aus, dass sich die Suchleistung automatisch verbessert, wenn man Google zu aggressiverem Crawling bewegt. Diese Annahme dreht den Mechanismus um. Crawling ist Voraussetzung für die Indexierung, und die Indexierung ist Voraussetzung für das Ranking, doch für jeden Schritt gelten eigene Kriterien. Eine Seite kann häufig gecrawlt werden und trotzdem nie ranken, wenn der Inhalt selbst die Schwellen für Qualität und Relevanz nicht erreicht.

Hilfreicher ist es, das Crawl-Budget als Torwächter zu verstehen und nicht als Ranking-Hebel. Wer Crawl-Verschwendung beseitigt, sichert damit keine besseren Positionen in den Suchergebnissen. Er stellt aber sicher, dass seine wirklich starken Seiten überhaupt eine faire Chance auf Bewertung bekommen. Für SaaS-Unternehmen, die Produkt- und Funktionsseiten schnell ausbauen, sollte diese Unterscheidung die Priorisierung von Investitionen in technisches SEO prägen: Sorgen Sie zuerst dafür, dass Google alles sehen kann, was sehenswert ist, und konzentrieren Sie die Arbeit an Content und Autorität dann auf die wichtigsten Seiten, sobald diese zuverlässig im Index stehen.