Wat is crawlbudget en is het belangrijk?

Crawlbudget is het aantal URL's op een website dat Google binnen een bepaalde periode kan en wil crawlen. Twee factoren bepalen dit: de crawlcapaciteitslimiet (hoeveel crawling je server aankan) en de crawlvraag (hoeveel Google van je content wil crawlen). Het is vooral belangrijk voor grote of vaak wijzigende sites, waar pagina's het risico lopen onontdekt of niet geïndexeerd te blijven.

Crawlbudget bepaalt of Google je content uberhaupt te zien krijgt voordat die kan ranken. Voor de meeste kleine marketingsites is dit geen probleem, maar voor SaaS-bedrijven met uitgebreide product-, feature- en documentatiepagina's betekent verspild crawlbudget dat echte pagina's onzichtbaar blijven in de zoekresultaten.

Wat bepaalt je crawlbudget?

Google definieert crawlbudget aan de hand van twee elementen die samenwerken. De hoeveelheid tijd en middelen die Google aan het crawlen van een site besteedt, wordt gewoonlijk het crawlbudget van de site genoemd, en twee hoofdelementen bepalen dit: de crawlcapaciteitslimiet en de crawlvraag.

De crawlcapaciteitslimiet is het technische plafond. Google wil je site crawlen zonder je servers te overbelasten, dus de crawlers van Google berekenen een crawlcapaciteitslimiet: het maximale aantal gelijktijdige parallelle verbindingen dat Google kan gebruiken om een site te crawlen, plus de wachttijd tussen opvragingen. Een trage of foutgevoelige server verkleint dit getal direct.

Crawlvraag is de kant van de behoefte. Factoren die een belangrijke rol spelen bij de crawlvraag zijn onder meer de waargenomen inventaris: zonder sturing van jou probeert Google alle of de meeste URL's te crawlen die het van je site kent, en als veel van die URL's duplicaten of onbelangrijk zijn, gaat veel crawltijd van Google op je site verloren. Populariteit, versheid en contentkwaliteit spelen ook mee in deze berekening.

Crawlbudget is geen vast getal dat je eenmalig krijgt toegewezen. Het verschuift naarmate je site verandert, en Google berekent het per hostnaam in plaats van per domein. Een hoofdsite voor marketing en een documentatiesubdomein tellen bijvoorbeeld als twee verschillende hostnamen, elk met een eigen crawlbudget. Dat onderscheid is belangrijk voor SaaS-bedrijven die een docs-subdomein los van hun marketingsite draaien.

Waarom is crawlbudget belangrijk voor SaaS-bedrijven?

Niet elke website hoeft zich druk te maken om crawlbudget. Als nieuwe pagina's meestal op de dag van publicatie worden gecrawld, hoeven webmasters zich er niet op te richten, en als een site minder dan een paar duizend URL's heeft, wordt die meestal efficiënt gecrawld. Google's eigen richtlijnen beperken de zorg verder tot specifieke siteprofielen.

SaaS-platforms vallen vaak in de categorie die er wel aandacht aan moet besteden. Productpagina's, integratieoverzichten, use-casepagina's en prijsniveaus vermenigvuldigen zich snel, en elk daarvan is een aparte URL die concurreert om hetzelfde beperkte crawlbudget. Als die inventaris zonder bijbehorende structuur boven een bepaald punt uitgroeit, komen pagina's in een wachtrij terecht in plaats van snel te worden gecrawld.

Het praktische gevolg van het overschrijden van het crawlbudget zie je in één specifiek rapport. Google toont pagina's niet in de zoekresultaten, ook niet als ze zijn gecrawld, als de content onvoldoende waarde heeft of er onvoldoende vraag van gebruikers is. Niet-gecrawlde pagina's kunnen helemaal niet worden beoordeeld voor indexering, waardoor ze niet kunnen meedingen naar rankings, hoe sterk de content op de pagina ook is.

Dit is een ander concept dan ranking zelf. Een hogere crawlsnelheid leidt niet per se tot betere posities in de zoekresultaten, omdat Google honderden signalen gebruikt om resultaten te ranken, en crawling weliswaar nodig is om in de resultaten te verschijnen, maar zelf geen rankingsignaal is. Crawlbudget bepaalt de ontdekking en de indexeringssnelheid, niet waar een pagina terechtkomt zodra die is geïndexeerd. Voor een groeiend SaaS-bedrijf is die ontdekkingsstap de poort waar elke andere SEO-inspanning eerst doorheen moet. De aanpak van Seedling voor organische groei voor SaaS-teams behandelt deze poort als een fundamentele gezondheidscheck, omdat contentstrategie en keywordtargeting niets opleveren als de pagina's die moeten ranken nooit worden gecrawld.

Wat verspilt crawlbudget?

Google is duidelijk dat bepaalde URL-patronen ongemerkt crawlcapaciteit verbruiken zonder zoekwaarde toe te voegen. Veelvoorkomende bronnen zijn:

• Facetnavigatie en sessieparameters. Facetnavigatie levert doorgaans duplicate content van de site op; sessie-ID's en andere URL-parameters die de pagina alleen sorteren of filteren, voegen geen nieuwe content toe.
• Duplicate content. Duplicate content consolideren betekent het wegwerken ervan, zodat het crawlen zich richt op unieke content in plaats van unieke URL's.
• Soft 404-pagina's. Geef een 404-code terug wanneer een pagina niet meer bestaat, in plaats van die als soft 404 te laten staan.
• Noindex-tags als sluiproute. Gebruik noindex niet als sluiproute: Google vraagt de pagina nog steeds op en laat hem pas vallen zodra het een noindex-metatag of -header in het HTTP-antwoord ziet, wat crawltijd verspilt.
• Robots.txt voor het verkeerde doel gebruikt. Gebruik robots.txt niet om crawlbudget tijdelijk naar andere pagina's te verschuiven; gebruik het om pagina's te blokkeren die Google helemaal niet mag crawlen. Google verschuift nieuw beschikbaar crawlbudget niet naar andere pagina's, tenzij het al de capaciteitslimiet van je site bereikt.

Voor SaaS-sites is zware JavaScript-rendering specifiek een veelvoorkomende boosdoener. Client-side gerenderde prijstabellen, featurelijsten of productbeschrijvingen dwingen Googlebot vaak extra middelen te besteden aan het renderen van content voordat de pagina uberhaupt kan worden beoordeeld, wat het crawlen van de rest van de site vertraagt.

Hoe controleer en optimaliseer je je crawlbudget?

Google Search Console is het belangrijkste diagnosemiddel. Het rapport Crawlstatistieken, te vinden onder Instellingen, geeft een overzicht van 90 dagen crawlactiviteit. Combineer je dat met logbestandsanalyse, dan zie je precies aan welke URL's Googlebot tijd besteedt en welke daadwerkelijk belangrijk zijn voor het bedrijf.

Het duidelijkste waarschuwingssignaal is een specifieke status in Search Console. Google merkt op dat crawlbudgetproblemen vooral relevant zijn voor websites met veel pagina's die regelmatig worden bijgewerkt, websites met een middelgroot tot groot aantal pagina's dat zeer vaak wordt bijgewerkt, en websites met een hoog percentage pagina's met de status Ontdekt – momenteel niet geïndexeerd, wat wijst op inefficiënte crawling. Een stijgend aantal in die status, naast pagina's waarvan je weet dat ze waardevol zijn, is het sterkste signaal dat crawlbudget je zichtbaarheid echt beperkt en dat het niet aan iets anders ligt.

Zodra je het probleem hebt vastgesteld, beperkt Google de oplossing tot twee hefbomen. De enige manieren om je crawlbudget te vergroten zijn je servercapaciteit voor crawls te vergroten en, belangrijker nog, de waarde van de content op je site voor zoekers te vergroten, omdat Google crawlmiddelen bepaalt op basis van populariteit, gebruikerswaarde, uniciteit en servercapaciteit. In de praktijk betekent dat: serverresponstijden verbeteren, dubbele URL's consolideren met canonical tags, XML-sitemaps opschonen zodat ze alleen indexeerbare pagina's bevatten, en de interne links versterken zodat prioritaire pagina's makkelijk bereikbaar zijn.

Een veelgemaakte denkfout: betekent meer crawling betere rankings?

Veel teams gaan ervan uit dat Google agressiever laten crawlen automatisch de zoekprestaties verbetert. Die aanname draait het mechanisme om. Crawlen is een voorwaarde voor indexeren, en indexeren is een voorwaarde voor ranken, maar voor elke stap gelden aparte criteria. Een pagina kan vaak worden gecrawld en toch nooit ranken als de content zelf niet voldoet aan de drempels voor kwaliteit en relevantie.

Het nuttigere denkmodel ziet crawlbudget als poortwachter in plaats van als rankinghefboom. Crawlverspilling aanpakken garandeert geen betere posities in de zoekresultaten. Het garandeert wel dat je echt sterke pagina's uberhaupt een eerlijke kans krijgen om beoordeeld te worden. Voor SaaS-bedrijven die hun product- en featurepagina's snel opschalen, moet dat onderscheid bepalen hoe je je investering in technische SEO prioriteert: zorg eerst dat Google alles kan zien wat de moeite waard is, en richt je content- en autoriteitsopbouw daarna op de pagina's die het belangrijkst zijn zodra ze betrouwbaar in de index staan.