Er staan miljarden websites online en elke dag wordt op een deel daarvan nieuwe content gepost. Ook gaan er elke dag duizenden – misschien wel miljoenen – nieuwe websites live. Dat is een hele hoop informatie die Google dagelijks moet verwerken. Om dat te doen gebruikt de zoekmachine crawlers en indexers. Slechte indexatie is uiteraard nadelig voor je vindbaarheid. Met onze technische SEO-skills zorgen we ervoor dat Google jouw website meteen vindt.
Wat is crawlen en indexeren?
De webcrawler van Google heet Googlebot. Hij speurt constant het web af op zoek naar nieuwe content en geeft de bevindingen door aan de indexer. Die analyseert de inhoud, ordent de informatie (zoals de index van een boek) en bepaalt de autoriteit van de URL.
Uiteraard wil je dat Google zoveel mogelijk van je pagina’s crawlt. Dat hangt af van het crawlbudget, wat aangeeft hoeveel pagina’s Google wil crawlen van je website. Hoe hoger je crawlbudget, hoe meer pagina’s geïndexeerd kunnen worden. Dat budget wordt bepaald aan de hand van een aantal factoren, die nauw verbonden zijn met SEO. Onder andere de grootte van je website, de sitespeed, autoriteit en de hoeveelheid en kwaliteit van inkomende links zijn van groot belang. Maar daarnaast speelt ook het aantal bezoekers van je site een grote rol, net als de mate waarin je regelmatig nieuwe content post. “Een site waar al sinds 2013 niets meer aan gebeurd is? Die content moet wel verouderd en achterhaald zijn. Daar steek ik geen energie in”, denkt Google.
Google sturen
We kunnen het crawl- en indexeringsproces gedeeltelijk sturen door onze voorkeuren kenbaar te maken. Bijvoorbeeld met een robots.txt, een klein tekstbestandje met instructies voor bots. Zo laten we Google weten welke pagina’s alvast niet moeten gecrawld worden en dus niet moeten worden weergegeven in zoekresultaten (een thank you-page bijvoorbeeld).
Daarnaast maak je best een sitemap op. Dat is een lijst van pagina’s op je website waarvan je graag wil dat Google ze crawlt en indexeert. In de sitemap kan je per pagina aangeven wanneer die het laatste werd gewijzigd en het onderlinge belang bepalen. Hou er rekening mee dat je met een sitemap geen opdracht kan geven aan Google, enkel suggesties.
Om op te volgen of je pagina’s wel goed gecrawld worden, dien je je sitemap best in op Google Search Console. Zo zie je of er problemen zijn tijdens het crawlproces en hoe je die kan oplossen. Telkens je wijzigingen doorvoert op je website, laad je de nieuwe sitemap op in Google Search Console. Zo vraag je ook een nieuwe crawl aan.