Crawlen zou je eenvoudig kunnen vertalen met analyseren. Er worden ieder moment weer pagina’s toegevoegd aan het wereldwijde web. Daarom hebben de zoekmachines een systeem dat continu op het internet rondneust om nieuwe informatie te vinden. Dat proces heet crawlen. Misschien ken je de naam Googlebot wel, dat is namelijk de crawler van Google.

Vaak wordt de vergelijking gemaakt met een spin, dat rondloopt in zijn web om te kijken of er nieuw voedsel is ingevlogen. De ‘spin’ volgt alle links die hij kan volgen en leert op die manier hoe een website in elkaar zit. Daarom is het zo belangrijk dat de crawler ‘weet’ of een pagina bestaat. Crawlen is dan ook een cruciaal proces binnen SEO. Crawlen is overigens de stap voor het indexeren en rangschikken van een pagina – zoals jij hem terugziet in de zoekresultaten.

Een voorbeeld

Stel, je bent aan een heuse opschoonronde begonnen voor je website. Dat is heel goed uiteraard, alleen let wel op met het verwijderen van pagina’s. De Googlebot bijvoorbeeld, kan ‘in de war’ raken op jouw website, omdat hij een pagina hebt verwijderd terwijl Googlebot die nog wel verwacht op een bepaalde locatie. Als je een pagina verwijdert en geen andere of nieuwe terugplaatst, ontstaat er een 404-error. Voor Googlebot is dat een plotselinge dichte deur, terwijl hij verwachtte zo naar binnen te kunnen ‘lopen’. Een redirect kan hier al een oplossing zijn. Meer tips en voorbeelden vind je in onderstaande blogs.

Onze blogs over crawlen

Fabian schrijft over het crawlen van de mobiele variant van je website in zijn blog over SMX London 2018, en Sjoerd laat zien dat je de crawler af en toe best een handje mag helpen. Eddie laat zien wat de overeenkomsten tussen een zoekmachine robot en een mens zijn.