Verhoog jouw crawl budget met deze 8 praktische tips

Je blogt regelmatig, maar het lijkt zo lang te duren voordat Google je nieuwe blogartikelen opmerkt. Zeker als het om een actueel onderwerp gaat kan dit ertoe leiden dat je hier minder uithaalt. Hoe vaak jouw website wordt gecrawld en welke pagina’s worden geïndexeerd hangt af van jouw crawl budget. Dit kun je verhogen door een aantal aanpassingen te doen. Wat is crawl budget nu precies, wat voor effect heeft het op je SEO en hoe kun je jouw crawl budget verhogen? In dit artikel lees je hier alles over.

Wat is crawl budget eigenlijk?

Het crawl budget van Google is het aantal URL’s dat Google kan en wil crawlen. Bij het bepalen van het crawl budget houdt Google rekening met twee factoren:

• Crawl rate limit: Google checkt hoeveel crawling een website aan kan. Als het crawlen de laadtijd van je website negatief beïnvloedt en dus ook de gebruikerservaring, zal Google minder crawlen. Je kunt ook zelf eventueel een lagere crawl rate limit instellen in Google Search Console. Google houdt hier dan rekening mee.
• Crawl demand: hierbij kijkt Google welke URL’s het populairst zijn en vaak worden geüpdatet. Deze URL’s worden vaker gecrawld.

Simpel gezegd worden de pagina’s op je website vaker gecrawld als je server veel aankan en je de pagina’s regelmatig update.

Van crawling tot indexing

Een gecrawlde pagina wordt niet meteen geïndexeerd. Na het crawlen komt eerst nog het rendering proces. Tijdens dit proces probeert Google zo goed mogelijk de structuur en lay-out van je website te begrijpen aan de hand van de gecrawlde URL’s. Zodra de zoekmachine een goed beeld heeft gekregen van de website worden de URL’s geïndexeerd.

Soms worden gecrawlde URL’s niet geïndexeerd door Google. Het gaat dan om pagina’s met content van lage kwaliteit en/of te weinig waarde voor je bezoekers. Dit wil je natuurlijk voorkomen, dus probeer altijd te zorgen voor waardevolle content.

Is het nodig om op je crawl budget te letten?

Er zijn al zoveel SEO factoren waar je rekening mee moet houden. Moet je nu ook nog op je crawl budget letten? Als jouw website minder dan 1000 pagina’s heeft, is dat eigenlijk niet nodig.

Heeft jouw website meer dan 1000 pagina’s, houd je jouw website actief en heb je jouw interne SEO op orde? Dan is het ook niet zo nodig om veel tijd aan je crawl budget te besteden. Je bouwt dan namelijk vaak al automatisch een gezond crawl budget op. Het kan echter nooit kwaad om eens te kijken hoe het ervoor staat met jouw crawl budget, zeker als je merkt dat je nieuwe en gewijzigde pagina’s niet snel of minder snel worden geïndexeerd.

Analyseer jouw crawl budget

Hoe weet je nu of jouw crawl budget in orde is of moet worden verhoogd? Als je crawl budget laag is, merk je dit vaak aan het feit dat nieuwe pagina’s en wijzigingen op pagina’s niet zo snel geïndexeerd worden. Je kunt echter ook jouw crawl budget bekijken in de crawlstatistieken in Google Search Console. Dit rapport vind je onder ‘Instellingen’ -> ‘Crawl statistieken’.

Je kunt in dit rapport het totaal aantal crawlverzoeken en het aantal crawlverzoeken per dag (datum) zien. Als je crawl budget lager is geworden of juist hoger in de afgelopen paar maanden, zie je dit in de grafiek terug. Onder de grafiek zie je nog verschillende andere gegevens staan. Aan de hand hiervan kun je bepaalde issues ontdekken en oplossen en zo je crawlbudget verhogen.

Bekijk deze video van Google over het crawl budget en de vernieuwde crawlstatistieken:

Het is dus niet altijd nodig om aandacht te besteden aan je crawl budget, maar het is nooit verkeerd om dit te doen. Het crawl budget is voornamelijk afhankelijk van de mate waarin je jouw website technisch hebt geoptimaliseerd voor SEO. Dit heeft niet alleen invloed op je crawl budget, maar ook op andere ranking factoren.

8 praktische tips om je crawl budget te verhogen

Je weet nu wat crawl budget is en hoe je het aantal crawlverzoeken voor jouw website analyseert. Maar hoe kun je nu jouw crawl budget verhogen? Hieronder vind je 8 praktische tips.

1. Boost je website snelheid

Als je website langzaam laadt, doet een crawler er langer over om alle pagina’s van je website te crawlen. Helaas hebben de Google crawlers maar een beperkte tijd. Heb je een grote website en laden je pagina’s niet snel? Dan is de kans groot dat bij een bezoek van een Google crawler niet al je pagina’s gecrawld worden. Check daarom je laadtijd in de Google PageSpeed Insights en verbeter je laadtijd als dit nodig is.

Bekijk de 3 beste manieren om je PageSpeed te verbeteren ->

2. Kies voor dedicated hosting

De crawl limit van Google wordt bepaald op host niveau. Als jouw website op een shared hosting server staat, betekent dit dat je ook de crawl limit deelt met veel andere websites die op deze server staan. Heb je een redelijk grote website? Dan kun je beter kiezen voor dedicated hosting, zodat je de crawl limit niet meer hoeft te delen. Dit heeft waarschijnlijk ook een positieve invloed op je laadtijd en op de gebruikservaring van je bezoekers.

3. Sluit zoekfilters uit van indexatie

Als je een e-commerce website hebt met veel verschillende producten, heb je waarschijnlijk ook een zoekfunctie met filters. Ontzettend handig voor je websitebezoekers, maar helemaal niet fijn voor Google crawlers. Verschillende product en categorie filters zorgen namelijk voor veel verschillende URL’s. Zo kunnen de filters bijvoorbeeld aparte URL’s maken voor zwarte winterjassen, bruine winterjassen, witte winterjassen, zwarte zomerjassen etc…

Voor Google zijn deze URL’s eigenlijk helemaal niet relevant. Het kan wel zijn dat Google de URL’s indexeert, maar vaak komen ze niet hoog in de resultaten staan. Ook kan het zijn dat de URL’s conflicteren met je categoriepagina’s, waardoor deze pagina’s lager worden gewaardeerd. Dat wil je natuurlijk voorkomen.

Om ervoor te zorgen dat Google geen tijd en aandacht besteed aan het crawlen en indexeren van deze URL’s voeg je de twee onderstaande regels toe aan je robots.txt:

noindex:

Disallow:

Hierachter zet je een deel uit de URL dat bij elk zoekfilter voorkomt, bijvoorbeeld ‘?search’ of ‘?zoeken’.

4. Verwijder duplicate content

Op veel websites komt duplicate content voor, terwijl de website-eigenaren zich hier vaak niet eens van bewust zijn. Bij duplicate content is er sprake van twee of meer pagina’s die precies dezelfde content hebben, maar een andere URL. Dit kan bijvoorbeeld voorkomen als een blogartikel in twee verschillende categorieën staat of als een product in een hoofdcategorie en een subcategorie staat.

Je kunt controleren of er duplicate content op je website staat door in Google te zoeken op:

site:jouwwebsite.nl “Productnaam”

of:

site:jouwwebsite.nl “Titel van het blogartikel”

Er zijn ook verschillende online tools die je kunnen helpen met het opsporen van duplicate content.

Het heeft geen nut om de Google crawler verschillende pagina’s te laten crawlen die hetzelfde zijn. Google zal een van de pagina’s normaal indexeren en de andere(n) laag in de zoekresultaten plaatsen. Doordat Google deze pagina’s crawlt is er minder tijd over om andere pagina’s op je website te crawlen. Dit kun je beter voorkomen. Geef daarom in je robots.txt aan welke pagina’s niet gecrawld en geïndexeerd moeten worden met ‘noindex’ en ‘disallow’.

5. Voorkom 404 pagina’s en redirect chains

Het crawlen van 404 pagina’s en het continu redirecten naar andere pagina’s is niet efficiënt. Dit kost de crawler veel tijd, waardoor er minder tijd overblijft om de rest van je website te crawlen. Probeer 404 pagina’s en redirect chains daarom zoveel mogelijk te voorkomen.

Je kunt in de crawlstatistieken zien welke URL’s naar een 404-pagina leiden. Pas de interne link van deze URL’s aan naar een werkende pagina of maak eventueel een 301 redirect naar een andere pagina aan.

Een redirect chain is een loop van redirects, waardoor een crawler continu wordt doorgeleid. Uiteindelijk komt de crawler nooit op een werkende pagina terecht, dus er gaat alleen maar kostbare tijd verloren. Gelukkig komt dit niet heel vaak voor, maar het is wel goed om dit te checken. Je kunt dit bijvoorbeeld doen met de tool Screamingfrog. Heb je een redirect chain gevonden? Zorg er dan voor dat de eerste pagina in de chain direct naar de juiste pagina leidt met een nieuwe 301 redirect.

6. Zorg voor een goede websitestructuur

Het crawlen van je website is eenvoudiger als je websitestructuur logisch en niet te uitgebreid is. Sowieso is het belangrijk om je website structuur niet te diep te maken. Probeer ervoor te zorgen dat elke pagina in maximaal drie klikken vanaf de homepage te bereiken is. Je creëert dus maximaal vier niveaus.

Daarnaast is het ook van belang om ervoor te zorgen dat de Google crawler nieuwe pagina’s snel kan vinden. Dit kan bijvoorbeeld met een blog feed of een product feed en door interne links toe te voegen naar nieuwe pagina’s.

7. Update je sitemap regelmatig

Je kunt Google ook op de hoogte stellen van nieuwe pagina’s door je sitemap continu bij te werken. Zorg ervoor dat je nieuwe pagina’s die belangrijk zijn hier steeds in opneemt. Zo weet de Googlebot van tevoren welke pagina’s erbij zijn gekomen.

8. Analyseer je server log

Een laatste mogelijkheid om je crawl budget te verhogen is door je server log eens goed te analyseren en aan de hand hiervan veranderingen aan te brengen. Server logs zijn vaak wel wat lastiger te begrijpen en daarom is dit alleen aan te raden als je een gevorderde gebruiker bent.

Er zijn verschillende tools waarmee je deze analyse kunt uitvoeren. Je krijgt dan verschillende data te zijn, zoals de responstijd en het aantal keer dat een URL is gecrawld. Aan de hand hiervan kun je ontdekken welke pagina’s de meeste aandacht krijgen van de Google crawler. Als minder belangrijke pagina’s meer aandacht krijgen dan belangrijke pagina’s, kun je kijken wat je hieraan kunt doen.

Verzoek tot recrawling

Heb je een aantal van onze tips gebruikt om je crawl budget te verhogen? Heel goed! Nu kun je eventueel ook een verzoek voor recrawling indienen bij Google. Je kunt dit indienen voor een enkele specifieke URL of voor je gehele website.

• Verzoek tot recrawling van een specifieke URL: dit doe je via de URL inspectie tool in Google Search Console. Je geeft de URL op, drukt op ‘Enter’ op je toetsenbord en vervolgens op ‘Indexering aanvragen’.
• Verzoek tot recrawling van je gehele website: dit doe je door je nieuwe sitemap in te dienen. Veranderingen in je sitemap markeer je met <lastmod>.

Je kunt beide opties ook gebruiken als je een verandering op een pagina of meerdere veranderingen op je website hebt aangebracht. Of als je een nieuw blogartikel, product of pagina hebt toegevoegd en wilt dat dit snel geïndexeerd wordt.