Screaming Frog beginners tutorial! (Pure Video)

Screaming Frog is een handig programma voor online marketeers. Binnen dit programma heb je de mogelijkheid om jouw website te crawlen, dé basis voor het krijgen van een rank in Google. Om jou op weg te helpen laat ik in onderstaande video zien hoe je kunt beginnen met dit programma. Lees je liever? Onder de video is een transcriptie van de video te vinden.

Transcriptie video

Screaming Frog is een heel handig programma voor online marketeers en voor SEO’ers. Vandaag in deze tutorial ga ik je de basis dingen laten zien zodat jij kunt gaan beginnen met dit programma. Hoi mijn naam is Thijs van Hal en in een deze gloednieuwe video op dit kanaal laat ik jou de basis dingen zien van het programma Screaming Frog zodat ook jij als online marketeer dit voor jouw website kan gaan gebruiken.

Wat doet Screaming Frog?

Om te begrijpen wat Screaming Frog doet moeten we even terug naar de basis van Google, hoe werkt de zoekmachine ook alweer? Het begint allemaal met de googlebot. Deze crawlt jouw website, gaat vervolgens deze indexeren in de database van Google en zo krijg je een ranking in de zoekmachine van Google.

Vooral dat eerste, het crawlen van jouw website, dat kunnen we simuleren met dit programma, met Screaming Frog. Zo kunnen we bijvoorbeeld zien of we alles goed hebben ingesteld in de website, of alles goed vindbaar is en of alles begrepen kan worden door de googlebot. Wanneer alle elementen van jouw website goed ingesteld zijn en googlebot deze goed kan inlezen weet je in ieder geval zeker dat jouw website geïndexeerd wordt en je mogelijk een hoge positie krijgt in Google.

Download Screaming Frog

Om Screaming Frog te downloaden ga je naar screamingfrog.co.uk. Hier kun je vervolgens het programma downloaden. Er is een gratis versie en een betaalde versie, met de gratis versie ben je echter gelimiteerd tot slechts 500 urls per crawl. De betaalde versie is 149 pond wat ongeveer gelijk staat aan 165 euro per jaar. Hier kun je in principe ongelimiteerd het programma gebruiken en heb je niet de restrictie van maximaal 500 url’s per keer. Wanneer je het programma gedownload en geïnstalleerd hebt zie je het volgende beeldscherm voor je. Vanaf hier kunnen we een aantal dingen gaan instellen.

Modus instellen

Het allereerste voordat we een website gaan crawlen is te gaan naar hier bovenin en naar ‘modus’ te gaan. Hier kunnen we bepalen op welke manier Screaming Frog jouw website gaat crawlen. De spider is eigenlijk de simulatie van de googlebot, dus net als een spin in het spinnenweb die al zijn prooitjes langsgaat doet de googlebot dit ook. Door links te volgen en zo steeds dieper op een website te gaan leest die de website, crawlt die het, indexeert die het en vervolgens komt het in Google.

De spider modus simuleert dus de googlebot maar we kunnen er ook voor kiezen om een specifieke lijst met url’s te laten crawlen door Screaming Frog. Dit kan door te gaan naar bovenin modus en ‘lijst’ te selecteren. Vervolgens kun je hier een bestandje uploaden of specifieke url’s hier invullen en vervolgens op next te klikken. Ook kun je switchen naar de ‘SERP modus’, hier kun je een bestand uploaden en kun je makkelijk de pagina titels en meta descriptions, de lengte van deze controleren. Omdat ik in dit geval onze website graag helemaal wil laten crawlen selecteren we de modus ‘spider’.

Configuratie Spider

Voordat we de website gaan crawlen wil ik nog wel wat dingen instellen in de configuratie. Dit doen we door links bovenin naar configuration te gaan en spider. Hier kunnen we het gedrag van de spider aanpassen door bijvoorbeeld te zeggen neem alle plaatjes en crawl deze niet. Heb je een website gebaseerd op JavaScript en wil je deze laten crawlen? Dan moet je in ‘rendering’ de optie ’text only’ aanpassen naar ‘JavaScript’, nu wordt jouw website ook gecrawled.

We hebben de spider goed geconfigureerd en we weten zeker dat alle elementen die we graag willen laten crawlen meegenomen worden in de crawl.

Robots.txt settings

Ook belangrijk voor het crawlen van de website is het robots.txt file. Hier kunnen we instellen dat de googlebot bepaalde pagina’s niet moet crawlen en indexeren, maar het kan zijn dat wanneer jij zometeen je website wil laten crawlen dat Screaming Frog een foutmelding geeft omdat er iets mis is in het robots.txt file.

Om dit op te lossen gaan we naar configuration, robots.txt en settings. Hier staat op dit moment de standaardoptie ‘respect robots.txt’ aan. Dat betekent dat tijdens het crawlen Screaming Frog het robots.txt file respecteert maar wel laat zien dat er bepaalde url’s geblokkeerd zijn zowel intern als extern. Mocht jouw crawl zometeen niet goed gaan en krijg je een foutmelding dan kun je de optie selecteren om het robots.txt file te negeren zodat Screaming Frog z’n gang gaat.

Website crawlen

Nu is het tijd om daadwerkelijk de pagina te laten crawlen. We vullen onze website in www.pure-im.nl en drukken vervolgens op start. Nu gaat Screaming Frog bezig met het crawlen van jouw website. Hier rechtsboven zie je het aantal totale url’s wat er op dit moment al gecrawled is, je ziet gelijk dat er al een heleboel websites aan de linkerkant opgenomen zijn in het programma. Rechtsboven zie je dat op dit moment op 25, 27 procent zijn, het kan even duren voordat Screaming Frog de hele website opgenomen heeft en gecrawled heeft.

Helemaal wanneer je een grotere website hebt dan kan dit wel enkele minuten of zelfs meer dan tien minuten duren. Laat dit proces even lopen en we zien jou terug wanneer dit voltooid is.

Resultaten crawl bekijken

We zijn in middels enkele minuten verder en de crawl is helemaal voltooid. Aan de rechterkant zien we een overview van de crawl die we net gedaan hebben. We zien dat er in totaal meer dan 4000 url’s meegenomen zijn in de crawl, er 31 externe geblokt zijn door robots.txt, in totaal 2867 interne url’s en 1181externe url’s te vinden zijn. Zodra we naar onder scrollen zien we een overview van verschillende elementen. Deze elementen bijvoorbeeld internal en external staan gelijk aan deze hier linksboven, dus deze tabjes.

Als we dan op internal klikken dan zie ook gelijk dat het hierboven switcht. De elementen die onder bijvoorbeeld internal vallen staan gelijk aan het kopje hier, dus dit zijn de filter opties. Zo kunnen we bijvoorbeeld alle html elementen zien of bijvoorbeeld alle plaatjes die gecrawled zijn. Zo kunnen we filteren op specifieke elementen en kunnen we zien per element of alles goed is gegaan en of alles gecrawled is. Er zijn een heleboel elementen waarop we kunnen filteren, als je naar onder scrollt zie je dat het een vrij lange lijst is maar voor hele specifieke analyses is het wel handig dat we deze filteropties hebben.

Als we naar alle interne links gaan en bijvoorbeeld de homepagina pakken dan kunnen we verschillende gegevens van de homepagina zien. Zo zien we gelijk wat het adres is, wat voor type het is dus het is tekst/html, de statuscode in dit geval 200, dat die oké is en dat hij ook indexeerbaar is. En vooral dat is belangrijk, zo weet jij in ieder geval dat jouw website, in dit geval onze website, geïndexeerd kan worden door Google en ook een positie kan krijgen hier in.

Scrollen we naar rechts zien we de titel van deze pagina, de meta description en ook hoe lang ze zijn. Zo kunnen we controleren of we niet buiten de limieten vallen en zodat alle tekst die we ingegeven hebben voor de titel en meta description ook allemaal gezien kunnen worden door de mensen die zoeken naar deze website. Ook zien we de h1 terugkomen, de h2 en scrollen we door zijn er nog enkele elementen. Zo zien we hoe groot de pagina is, hoeveel woorden er op staan, wat de crawl diepte is, wat er allemaal aan inlinks en outlinks te vinden zijn en wanneer deze voor het laatst is aangepast en of er eventueel geredirect is dan zul je hier zien wat de geredirecte url is.

Alle gegevens die we zonet besproken hebben kunnen we hier onderin in ‘url details’ ook nog eens terug vinden en hier kunnen we ook verschillende andere dingen zien. Naast het overzicht kunnen we bijvoorbeeld ook kijken welke inlinks en naar deze pagina gelinkt worden, welke outlinks op deze pagina te vinden zijn, welke plaatjes er op zijn en of ze bijvoorbeeld een alt-tekst bevatten wat ook heel belangrijk is. En we kunnen bijvoorbeeld zien hoe de SERP eruit gaat zien. In dit geval op desktop, mobiel of tablet.

Analyses maken in Screaming Frog

We weten inmiddels wat Screaming Frog is, wat het precies doet, hoe we onze website kunnen crawlen en we weten welke gegevens er zichtbaar zijn en waar we deze gegevens kunnen vinden. Maar wat zijn nou interessante dingen om als beginnend marketeer hier in dit programma te doen? Een van de belangrijkste dingen om te checken is dus of de website daadwerkelijk indexeerbaar is en of alle pagina’s die jij toegevoegd hebt op jouw website ook gevonden kunnen worden en of daar de juiste informatie op staat.

Zo is het belangrijk om te kijken of de titel en meta description van een pagina wel binnen de limieten van Google vallen, is het belangrijk om te kijken of de h1’s goed staan, de h2’s goed staan, of alle afbeeldingen een alternatieve tekst bevatten en of ze niet te groot zijn, of er redirects toegepast zijn en of deze goed toegepast zijn, of er geen redirect chains zijn en misschien wel een van de belangrijkste dingen of er geen 404’s te vinden zijn op de website. Dit kun je bijvoorbeeld doen door naar response codes te gaan en hier links bovenin op client error te kiezen.

Ook kun je er voor kiezen om een bulk export of een report aan te laten maken in Screaming Frog. Dit doe je door helemaal bovenin naar bulk export of report te gaan en je ziet al gelijk een heleboel elementen die je zo kan exporteren naar een excel file. Door het exporteren krijgen we een excel file die we vervolgens mee kunnen nemen in het SEO file of door kunnen sturen naar anderevmedewerkers binnen de organisatie.

Zo kunnen we bijvoorbeeld alle inlinks, outlinks, alle plaatjes of door te gaan naar respons codes & client errors alle 400 codes te exporteren naar excel file. Of we maken een report waar we bijvoorbeeld alle redirects in een excel file te zien krijgen zodat we een mooi overzicht krijgen en kunnen kijken of alle redirects wel daadwerkelijk goed zijn doorgevoerd. De bulk export en report tabjes zorgen ervoor dat je tijd bespaart in Screaming Frog en gelijk de gegevens in excel krijgt die je graag zou willen zien.

Ik hoop dat inmiddels duidelijk is geworden wat Screaming Frog is, waarvoor het ingezet kan worden, wat het precies doet, hoe een website gecrawled kan worden en welke analyses er mogelijk zijn en welke gegevens in zichtbaar zijn. Dit is dan ook in een notendop het programma Screaming Frog en ik hoop dat je er mee aan de slag gaat, achter alle functies komt en dat je vooral in zichtbaar hebt of jouw website goed staat en of alle SEO elementen goed zijn op jouw website.

Mocht je meer van dit soort video’s over Screaming Frog willen zien of is iets nog niet helemaal duidelijk? Laat het ons weten in de comments of neem contact met ons. Ik wil je bedanken voor het kijken naar deze video. Like deze video, abonneer op ons kanaal en zie je bij de volgende keer, doei!