Screaming Frog analyses voor gevorderden

Screaming Frog heeft ontzettend veel features. Door gebruik te maken van wat geavanceerde features en de mogelijkheden binnen het programma wordt Screaming Frog een nog betere tool om jouw SEO werk te doen. In onderstaande video neem ik jou langs verschillende analyses die je kunt doen. Lees je liever? Onder de video is een transcriptie van de video te vinden!

Transcriptie video

Screaming Frog is een belangrijke tool voor online marketeers en als je ook een beetje weet waar de verborgen opties zitten en hoe je de diepere analyses kunt doen, wordt het een nóg betere tool om jouw SEO werk beter te kunnen doen.

Hoi! Ik ben Ewoud en leuk dat je kijkt naar deze video over Screaming Frog voor gevorderden. In deze video wil ik je wat meer vertellen en meer laten zien over de geavanceerde instellingen die je in deze tool kunt gebruiken.

User-Agent aanpassen

We beginnen meteen met de eerste tip, het aanpassen van de user-agent. Iedereen die wel eens een website of regelmatig een website in Screaming Frog analyseert is het misschien wel eens tegengekomen dat het niet lukt om de hele website te crawlen. Misschien wordt het crawlen wel tegen gehouden omdat de server van de website die je wilt crawlen het niet toestaat dat bijvoorbeeld bots of onbekende bots de website bezoeken.

In dat geval kun je ook Screaming Frog zich laten voor doen dat deze zich gedraagt als bijvoorbeeld Google of als simpelweg een gebruiker in Google Chrome of Firefox. Dit kunnen we aanpassen door de user-agent binnen Screaming Frog te veranderen. Dat kun je doen als je gaat naar het tabblad configuration, user-agents te gaan. Hier heb je tal van user-agents die je zou kunnen aanklikken, bijvoorbeeld Firefox of Chrome of Google zelf die je dus kunt aanklikken om de website op een andere manier te crawlen dan met de standaard Screaming Frog bot. Als je die instelling gebruikt zal het ongetwijfeld wel lukken of in veel gevallen wel lukken om de website alsnog te crawlen.

Het is wel goed om te weten dat mogelijk je crawl proces wat meer van je computer vraagt dus kan het crawlen ook een stukje langer duren dan wanneer je de standaard Screaming Frog bot gebruikt.

Crawl settings aanpassen

Er zijn nog daarnaast heel veel andere crawl settings die je kunt instellen om zo meerdere of andere aspecten van de website ook mee te nemen in de crawl. Screaming Frog die neemt natuurlijk al heel veel zaken standaard mee zoals de meta descriptions en de afbeeldingen maar je kunt dus ook specifiek kijken naar andere onderdelen en wat dat precies is dat kun je hier ontdekken in het menu, in het spider menu onder configuration. Je gaat dan naar extraction, het tabblad daar.

Als je verder naar onder kijkt dan kun je dus ook zien dat je bijvoorbeeld naast de standaard onderdelen ook microdata kunt bekijken of JSON-LD. Dit kan Screaming Frog dan meenemen en daarmee pagina’s ontdekken die mogelijk fouten hebben op het gebied van schema implementatie. Als je op ‘oké’ drukt en je gaat gevolg de website crawlen dan kan het ook weer ietsjes langer duren omdat het natuurlijk meer elementen gaat ophalen maar uiteindelijk zullen we dan in het tabblad structured data – en als je die trouwens niet ziet hieronder kan je ook hier wat tabbladen uitzetten zodat die in beeld komt – en uiteindelijk zul je op dit gedeelte zien welke structured data er is implementeert, wordt gedetecteerd en of er mogelijk fouten zijn.

HTTP redirects checken (HSTS Policy)

De volgende tip is kijken of de redirects van http naar https echt goed gaan. In de meeste gevallen wanneer je dus een https ofwel een ssl certificaat hebt geïnstalleerd op je website wil je natuurlijk dat het verkeer wordt geleid naar de https variant van elke pagina. Dit kun je natuurlijk doen met de bekende 301 redirect om te zorgen dat dus elke http versie van een pagina wordt verwezen naar de https versie.

Om dit verder af te dwingen, of om eigenlijk ervoor te zorgen dat het verkeer nooit meer kan komen op een http versie van een pagina, kun je de zogenoemde hsts-policy inschakelen op de server. Misschien is dit in sommige gevallen wel gebeurd maar je hebt nog altijd een redirect nodig over je hele site gezien om ervoor te zorgen dat het verkeer wel daadwerkelijk naar de https versie van een web pagina wordt geleid. Soms kan het dus voorkomen dat dus die hsts-policy wel is ingeschakeld op de server maar dat nog niet alle onderdelen van de website netjes zijn geredirect. Dit kun je dus met Screaming Frog dan niet zomaar achterhalen omdat natuurlijk de hsts-policy wordt gerespecteerd en deze kun je dus ook uitzetten in de geavanceerde configuratie van jouw spider.

Daarvoor ga je dus weer in het tabblad configuration naar je spider toe, je gaat naar advanced en vervolgens klik je op respect hsts-policy. Dan klik je op ‘oké’ en vervolgens ga je de website crawlen. In dit geval kun je dus wanneer dus die extra policy is ingebouwd op de server toch ontdekken of er mogelijk nog redirects ontbreken die van http naar https verwijzen.

Orphan pages vinden

Hoe vind je nu pagina’s die geen inkomende links hebben? Zoals in de vorige video over Screaming Frog, die je overigens hierboven kunt vinden van Thijs waarin hij uitlegt hoe de crawler werkt, weet je dat Screaming Frog net zoals een spider van pagina naar pagina hopt door middel van de links die op de website bestaan. Als een pagina geen inkomende links heeft zal Screaming Frog deze dus nooit kunnen vinden.

In sommige gevallen is het wel handig om te kijken – bijvoorbeeld bij website redesign – of er nog oudere pagina’s bestaan waar geen links meer naartoe lopen en om deze op te kunnen sporen. In dat geval moet je deze pagina’s kunnen opsporen, de zogenoemde orphan pages worden ze ook wel genoemd. Er zijn een aantal methoden om deze te achterhalen.

Methode 1: List mode gebruiken

De eerste methode is dat je binnen Google Analytics en bijvoorbeeld ook binnen Google Search Console een lijst exporteert van bijvoorbeeld het laatste jaar of de laatste 2 jaar maar net wat je nodig vindt met alle pagina’s die in het verleden bezocht zijn. Dus wanneer je daar naartoe gaat – bijvoorbeeld in Google Analytics – dan ga je het gedrag, site content, alle pagina’s report, selecteer je de periode die je wilt hebben bijvoorbeeld meer dan een jaar en exporteer je deze lijst. Dit kun je natuurlijk ook doen in het prestatie rapport in Google Search Console waarbij je dus ook een export maakt waarbij je, nou ja daar wordt een export gemaakt van alle tabbladen die je ziet, maar ook in de export vind je dus het tabblad ‘pagina’s’ en daar kun je dus de hele lijst downloaden.

Als je deze lijsten combineert in Excel en je ontdubbeld ze even voor het gemak, via ‘duplicaten verwijderen’ onder het tabblad ‘gegevens’ dan heb je een mooie cleane maar hele grote lijst die je vervolgens weer in Screaming Frog kunt importeren.

Eenmaal in Screaming Frog wil je natuurlijk deze lijst crawlen en ook dit is in de vorige video uitgelegd je kunt een list crawl doen. We zetten dus de spider modus op list en omdat we inmiddels de lijst vanuit onze Excel sheet al hebben gekopieerd kunnen we deze eenvoudig plakken via de optie paste. Wanneer we op oké drukken worden deze pagina’s allemaal gecrawled. Hier zitten dan mogelijk ook pagina’s bij die je anders niet had kunnen vinden binnen de normale spider crawl van Screaming Frog.

Methode 2: Google Analytics + Google Search Console koppeling

De volgende methode om dus niet gelinkte interne pagina’s te vinden kun je wel de spider methode gebruiken. In dat geval moeten we even een paar stappen aan zetten. We beginnen ook met het mogelijk te maken dat ook de xml sitemaps worden mee gecrawled. Dat kun je dus in het spider configuratie paneel doen door xml sitemaps aan te klikken. Vervolgens willen we Google Analytics en Google Search Console koppelen in Screaming Frog om ervoor te zorgen dat ook deze bronnen automatisch worden geraadpleegd.

Om Google Search Console en Analytics te koppelen kun je naar het menu-item configuration en vervolgens na ‘API Access’ en kun je beide tools toevoegen. Ik zie trouwens dat je ook nog de mogelijkheid hebt om de bekende andere link tools toe te voegen zoals Majestic, Ahrefs of Moz. Wanneer je dus een van de accounts toevoegt moet je dus klikken op ‘connect to new account’, vervolgens moet je inloggen via de browser en dan wordt dus de koppeling gelegd als je toestemming gelegd. Dit doe je dus zowel voor Google Analytics als voor Google Search Console. Als je account dus succesvol is gekoppeld dan krijg je hieronder in het groen de melding ‘connected to je account’ en vergeet dan ook niet om even in het tabblad general ‘crawl new urls’ aan te vinken zodat alles wordt meegenomen.

Hetzelfde doe je dus ook voor Google Search Console, dan kun je website gaan crawlen. Op het moment dat je aan het crawlen bent kun je in het tabblad API zien hier aan de rechterkant of deze koppeling goed is gegaan en het crawlen dus via die API goed gaat.

Na de crawl kun je uiteindelijk een crawl analysis uitvoeren en eerst moet je dan even checken of bij de crawl analysis ook de orphan pages worden meegenomen. In dit geval is het zo en anders moet je dat vinkje even aanzetten. Vervolgens kun je de crawl analysis uitvoeren en als vervolgens de crawl analysis is gedaan kun je de orphan pages makkelijk exporteren door bovenin naar het tabblad reports te gaan en uiteindelijk te kiezen voor orphan pages. Hiermee krijg je een prachtig rapport met eventuele orphan pages ofwel de pagina’s die dus geen interne backlinks hebben van je website.

Reguliere expressies

Specifieke pagina’s of pagina structuren ontdekken. Hiervoor kun je perfect reguliere expressies gebruiken, ook wel regex genoemd. Je kunt Screaming Frog de instructie geven om slechts een deel van de pagina’s die jij wilt te crawlen. Dit kun je doen door een deel op te nemen in je crawl analyse of juist een bepaalde structuur uit te sluiten.

Hiervoor kun je gebruik maken van de include of exclude optie. Deze vind je onder de menuoptie configuration. Als we bijvoorbeeld willen dat alleen een specifiek deel van de website moet worden opgenomen dan kunnen wij dat aangeven door de url-structuur zoveel mogelijk in te voeren en daarbij aan te geven dat ook alles wat daaraan voldoet of daarmee begint in de crawl moet worden meegenomen. Dit geef je dus aan met de reguliere expressies.

Mocht je trouwens een handig overzicht willen zoeken van reguliere expressies die je zoal kunt gebruiken dan heb ik hieronder in de beschrijving even een linkje opgenomen naar een artikel binnen de website van Google waarop je dus per categorie handige reguliere expressies vindt. Als we dus een specifiek deel binnen de website willen opzoeken – en in dit geval gebruik ik even onze eigen website pure-im.nl als voorbeeld – dan kunnen we hier dus reguliere expressies voor gebruiken.

In dit geval wil ik weten welke pagina’s zich bevinden met de structuur www.pure-im.nl/handleidingen en hiervoor gebruik ik de volgende reguliere expressie, ik zet het begin deel van de url in het lege vak voor include, daarachter zet ik .* en daarmee kan ik dus alle pagina’s ontdekken die deze structuur hebben. Als ik vervolgens op oké druk dan kan ik dus het resultaat kijken door de website te crawlen en vervolgens zien we dus alle pagina’s die hiermee te maken hebben.

Op dezelfde manier zou ook kunnen zeggen natuurlijk dat ik gewoon dat deel wil uitsluiten, in dat geval zou ik dus niet optie include moeten gebruiken maar juist exclude.

UA-code juist geïmplementeerd?

En dan nu een handige methode om te checken of elke pagina op de website wel juist de ua-code van Google Analytics heeft geïmplementeerd. Dit kun je dus ook binnen Screaming Frog en dit doe je door boven in configuratie naar custom te gaan en vervolgens op search te klikken, hiermee met de knop add kun je dus een zoekopdracht toevoegen, contains, en vervolgens de ua-code invoeren.

Vervolgens maak je een filter aan waarop je specifiek de ua-code van de website – als je deze weet natuurlijk – invoert en binnen de html laat zoeken of deze voorkomt. Het is daarbij ook verstandig om meteen nog een filter aan te maken waarbij deze ua-code niet voorkomt en zo krijg je een mooie opsplitsing tussen pagina’s waar wel de ua-code en pagina’s waar niet de ua-code van Google Analytics zijn geïmplementeerd.

Je resultaat met de pagina’s waar wel of geen ua-code is gedetecteerd kun je vinden in het rechterpaneel, dat zijn natuurlijk alle filters. Onder overview scroll je naar beneden totdat je bij ‘custom search’ uitkomt en daar vind je dus de filters met does of does not contain de ua-code die we hebben ingevoerd. In dit geval vinden we dus niet op elke pagina, of eigenlijk op geen enkele pagina de ua-code, en dit klopt ook eigenlijk wel omdat op elke pagina in dit geval Google Tag Manager is gebruikt waarbinnen dus de Google Analytics tag is geïmplementeerd.

In dat geval zouden we dus op elke pagina moeten zoeken naar de Google Tag Manager code en deze kunnen we natuurlijk ook gebruiken om naar te zoeken binnen een site. We doen eigenlijk dezelfde zoekopdracht met 2 filters bevat wel en bevat niet en dan met de Google Tag Manager implementatie code.

Crawl path report

Het crawl path report, hoe kun je achterhalen hoe een bot jouw specifieke pagina binnen de website heeft gevonden? We weten natuurlijk dat de spider de links binnen websites volgt om bij de pagina’s uiteindelijk uit te komen maar vaak kan de googlebot of de spider van Screaming Frog in dit geval wel eens een andere route nemen dan jij voor ogen hebt, in dat geval kun je dus het crawl path report gebruiken en dit is bijvoorbeeld een analyse die je kunt doen voor een specifieke url die je op dat moment aan het bekijken of aan het optimaliseren bent.

Om dat te doen ga je in je crawl report naar een specifieke url toe, je klikt op de rechtermuisknop en je gaat vervolgens naar export en je klikt op crawl path report. Hiermee krijg je een .csv die je kunt bekijken waarin dus het crawl path report dus precies aangeeft via welke stappen de crawler deze specifieke pagina heeft gevonden.

Specifieke elementen crawlen

Hele specifieke onderdelen binnen je website crawlen. Wat je al lang hebt gezien is dat Screaming Frog ontzettend veel onderdelen binnen je website kan crawlen, van afbeeldingen tot html tekstbestanden, noem maar op. Er zijn natuurlijk ook bepaalde delen binnen je website, bijvoorbeeld een contactformulier, knoppen of wat dan ook die je misschien ook wel zou willen identificeren maar dat lukt niet met de standaard opties die Screaming Frog al aan heeft staan. Daarmee moet je bijvoorbeeld iets dieper in de site structuur of eigenlijk in de opmaak van een html pagina gaan kijken om specifieke onderdelen binnen je website te crawlen.

In dit geval zou je kunnen gebruik maken van de custom extraction optie. Stel je wilt binnen een website de contact formulieren specifiek crawlen, deze hebben waarschijnlijk binnen een goed opgemaakt website een vaste opmaak binnen de html met een bepaalde class voorbeeld. In dat geval zou je bijvoorbeeld de specifieke x-path van dit html-element kunnen crawlen en deze moet we dan even opzoeken binnen de website.

Nu heeft Chrome een hele handige optie binnen element inspecteren om juist de x-path van een bepaald html-element te kopiëren en deze te gebruiken dus. Als we dus bij een contactformulier binnen Chrome de rechtermuisknop klikken en we kiezen voor element inspecteren, dan krijgen we dus een mooi overzicht van de html-code te zien. We proberen even te achterhalen welk element we moeten hebben, ik pak meestal de meest bovenste bijvoorbeeld de hoogste class van een hele sectie, dat moet je natuurlijk even proberen. Vervolgens kunnen van dat element de x-path kopiëren en dit kunnen we weer gebruiken in Screaming Frog.

Als we in Screaming Frog weer gaan naar configuratie en dan custom kiezen we in dit geval voor extraction. We kunnen in dit geval dan onze zoekopdracht een naam geven, ik geef hem even contact formulieren als naam. We hebben inmiddels de x-path gekopieerd en deze kunnen we dan ook als optie aanhouden, vervolgens kopiëren we dus de x-path die we moeten hebben. Om vervolgens het resultaat te kijken van de crawl met de specifiek ingestelde custom extraction zoals dat heet moeten we in het grote overzicht naar het tabje custom extraction gaan en hier kunnen we op een gegeven moment zien wat dan volgens ons de contactformulieren zouden moeten zijn.

Je kan dan nog specifiek nog filteren op contactformulieren zodat je alleen deze elementen over houdt in je lijst. Met deze methode kun je dus nog heel veel andere html of Javascript onderdelen binnen je webpagina’s vinden en ga je dus ook vooral zelf mee aan de slag om uit te vogelen hoe je dit voor jezelf het makkelijkste kunt doen.

Site structuur vinden

De voorgaande tips waren natuurlijk al best wel geavanceerd en het is natuurlijk verstandig om daar eens even voorzichtig mee aan de slag te gaan om te testen hoe het voor jou werkt. Dan heb ik nog een handige tip die misschien wat makkelijker is, als je dus wilt weten hoe de structuur van website in elkaar zit dan kun je daarvoor perfect kijken in het tabblad site structuur. Als je je website heb gecrawld en je kijkt in dat tabblad dan krijg je een perfecte weergave van hoe de website hiërarchisch in elkaar steekt.

Dit waren een aantal tips die je kunt gebruiken om wat geavanceerdere analyses te doen binnen Screaming Frog en zijn er daarnaast nog veel meer, het programma heeft werkelijk ontelbaar veel mogelijkheden. Zo kunnen we het nog eens een keer hebben over hoe je de core web vitals kunt bekijken, kunt analyseren, hoe je bijvoorbeeld specifiek op privacy onderdelen kunt kijken, bijvoorbeeld komen je adressen gegevens misschien per ongeluk voor op bepaalde pagina’s terwijl je dat niet wilt en andere disclaimers zou je kunnen onderzoeken. Daarnaast is Screaming Frog ook super handig om de gevreesde redirect chains ofwel redirect lussen op te sporen. Dat zijn de redirects op redirects op redirects die je natuurlijk ook niet wilt hebben.

Mocht je nog onderdelen missen of behandeld zie in de video vergeet dan niet om dit even hieronder in de comments te melden. Laat natuurlijk ook gewoon weet wat je van de video vind en wanneer de video natuurlijk leuk vindt, vergeet dan niet om hieronder even een duimpje op te steken.

Daarnaast kun je ons natuurlijk volgen door op abonneren te klikken en we zien je graag terug in de volgende video, bedankt voor het kijken!