5 A/B tests om Open Rate te verhogen – De resultaten

Overal op het internet vind je tips om de open rate van je e-mails te verhogen. Bij Pure wilden we zien of deze tips ook daadwerkelijk effect hebben.

De afgelopen periode hebben we daarom bij Pure een aantal testen gedraaid. We hebben onze nieuwsbrief getest met een aantal online tips die zogenaamd je e-mail open ratio moeten verhogen.

Wij dachten: dat gaan we testen.

In dit blog geven we je daarom een overzicht van de resultaten van onze testen die je wellicht ook kunt gebruiken voor jouw eigen e-mail testen.

De opzet

Voor deze test hebben we een 5-tal testen geselecteerd. De hypothesen zijn als volgt:

1. “[Pure-nieuwsbrief]” vooraan in de onderwerpregel verwerken zorgt voor een hogere open rate.
2. Een gepersonaliseerd veld *fname* vooraan in de onderwerpregel verwerken zorgt voor een hogere open rate.
3. Een onderwerpregel die aansluit op de eerste blog in de nieuwsbrief zorgt voor een hogere open rate.
4. Een vragende onderwerpregel zorgt voor een hogere open rate.
5. Een getal vooraan in de onderwerpregel verwerken zorgt voor een hogere open rate.

Deze testen zijn allen bekend als ‘industriestandaard’ voor de e-mail marketing en komen vaak voor op pagina’s met tips om je e-mail open rate te verhogen.

De methode

Onze database begon met 779 abonnees en staat op het moment van de laatste test op 836 subscribers. Voor deze tests hebben we onze database in tweeën gesplitst, 50/50. Hiervan kreeg 50% de originele variant en de andere 50% de aangepaste variant. De tests zijn iedere 1^e en 3^e vrijdag van de maand verstuurd in de periode van 1 oktober tot en met 3 december 2021. Dit brengt ons op een totaal van 5 testen.

Ook goed om te weten is dat er behalve de onderwerpregel niets is veranderd. De inhoud van de mail is verder volledig hetzelfde gebleven. De inhoud van de mail betreft onze tweewekelijkse nieuwsbrief. Hierin staat een overzicht van onze blogs en vlogs die we in die periode hebben geproduceerd met ons team. Benieuwd hoe die er uit ziet? Bekijk onze nieuwsbrief dan hier.

Dan nog wat informatie over onze dataset. Zo kun je gelijkenissen trekken met jouw eigen e-maildatabase. De leeftijdsdistributie is als volgt:

De verdeling qua geslacht is 63% man, 34% vrouw, 0% overig en 3% onbekend.

Resultaten

Dan nu over naar het belangrijkste deel: de resultaten. Deze behandel ik hieronder test voor test.

#1 – “[Pure-nieuwsbrief]” vooraan in de onderwerpregel verwerken zorgt voor een hogere open rate. – Geen verandering

Wel of niet het woordje ‘nieuwsbrief’ toevoegen? Dat was de vraag die ik met deze test wilde beantwoorden. Daarom hebben we in de headline versie A [Pure-nieuwsbrief] staan en headline versie B [Pure-nieuwsbrief] weggelaten.

Bij de test kun je een klein verschil zien in open rate, namelijk 31,9% versus 31,6%. Met onze relatief kleine database is het echter niet uit te sluiten dat dit door toeval komt.

De uitkomst van deze test is dan ook dat het wel of niet gebruiken van [Pure-nieuwsbrief] geen significant verschil heeft gemaakt.

Wel interessant om op te merken is dat er 6% geklikt werd bij de variant zonder [Pure-nieuwsbrief], waar er bij de versie met [Pure-nieuwsbrief] maar 4,4% geklikt werd.

#2 – Een gepersonaliseerd veld *|FNAME|* vooraan in de onderwerpregel verwerken zorgt voor een hogere open rate. – Hogere open rate

Overal lees je dat je je e-mails persoonlijk moet maken door bijvoorbeeld de naam van je ontvanger te verwerken in de onderwerpregel van je e-mail. Om dit te testen hebben we in deze test de voornaam van de lezer verwerkt in de e-mail. Dit hebben we gedaan door het mergeveld *|FNAME|* toe te voegen (een snelcode in Mailchimp om de voornaam aan iedere mail toe te voegen).

Uit de resultaten blijkt dat wanneer het *|FNAME|* veld vooraan in de mail wordt gebruikt, de mail door 34,1% wordt geopend. Daartegenover staat dat wanneer er geen gebruik wordt gemaakt van het *|FNAME|* veld, dat de mail door 30,4% wordt geopend.

De conclusie van deze test is dus dat een gepersonaliseerd veld met *|FNAME|* voor ons heeft gewerkt. Wederom moet ik hierbij wel zeggen dat er door de relatief kleine database nog steeds een kleine kans (voor de statistieknerds onder ons: p=0,88) bestaat dat dit toeval is.

Wel is interessant om te zien dat de klikratio hoger is bij de variant zonder *|FNAME|*. De meest waarschijnlijke verklaring hiervoor is simpelweg toeval, omdat er verder geen verschil zat in de inhoud van de mail.

#3 – Een onderwerpregel die aansluit op de eerste blog in de nieuwsbrief zorgt voor een hogere open rate. – Geen verandering

Je leest overal dat je content aan moet sluiten op de inhoud van je mail. Klinkt logisch, dus dat hebben we getest in mail nummer 3. We hebben bij deze test bij variant A gekozen om de mail eenzelfde onderwerpregel te geven als het artikel dat bovenaan stond bij onze nieuwsbrief-email. Nu heeft dat misschien niet direct een invloed op de open rate, dus hebben we bij deze mail ook de klik rate als metric erbij gehaald.

De conclusie van deze test is echter niet definitief. Dat zit hem in de aard van de test. De onderwerpregels zijn zo drastisch anders van elkaar dat het wat betreft de open rate niet uitmaakt dat er 1,8% meer geopend is bij de variant die aansluit bij de content die bovenaan staat.

Er zit echter bij de open rate praktisch geen verschil in de A en B variant. We moeten daarom concluderen dat deze test niet het gewenste effect heeft gehad.

#4 – Een vragende onderwerpregel zorgt voor een hogere open rate. – Lagere open rate

Werkt een vragende onderwerpregel beter dan een niet vragende onderwerpregel? Dat is wat we met deze test poogden te achterhalen.

Het antwoord op die vraag is echter nee. Uit onze test is gebleken dat de vragende variant niet beter, maar zelfs slechter werkte dan de andere variant. Waar de vragende variant een open rate van 32,1% had, heeft de B variant een open rate van 35,4%.

Ook de klik rate is hoger bij de B variant van de test. De reden daarvoor leggen we je uit bij de volgende test.

Voor deze test kunnen we concluderen dat de vragende test minder goed werkte dan de B-variant.

#5 – Een getal vooraan in de onderwerpregel verwerken zorgt voor een hogere open rate. – Hogere open rate

Werkt het gebruiken van een getal in je onderwerpregel nu beter voor je open rate? Misschien wel. We hebben het getest in de laatste test, test nummer 5.

Uit deze test is gebleken dat het gebruikmaken van een cijfer in je onderwerpregel daadwerkelijk bijdraagt aan het verhogen van je open rate. Waar er bij de variant zonder getal een open rate van 35,1% was, is dat bij de variant met getal een open rate van 37,4%.

Wel moet hierbij worden vermeld dat de test niet significant is, wat betekent dat er ook een kans bestaat dat dit door toeval kan komen. Die kans is echter niet heel groot (p=0,75).

Ook interessant om te zien is dat de klik rate bij de alternatieve variant significant hoger is dan bij de variant met cijfer. Dit komt wellicht omdat bij deze onderwerpregel de focus meer licht op het ‘speciaal voor jou’ deel van de tekst, wat weer zou kunnen duiden op dat persoonlijke mails beter presteren. Dit is echter niet met data te onderbouwen.

Conclusie

Dus wat werkte? Bij onze tests met de onderwerpregel van de e-mails werkte het persoonlijk maken en het gebruikmaken van getallen goed voor het verhogen van de open rate. Een vragende onderwerpregel, ‘nieuwsbrief’ gebruiken en een onderwerpregel die aansluit op de content werkten allen niet verhogend voor de open rate.

Al deze tests zijn enkel de resultaten voor onze nieuwsbrief. Houd er dus rekening mee dat dit bij jouw datasets compleet anders kan zijn. Doe daarom altijd je eigen tests. Haal vooral wel inspiratie uit de online tips die je vindt, maar gebruik niet zomaar lukraak alles. Het verschilt te veel per branche en per bedrijf om zomaar iets aan te nemen. Test daarom altijd alvorens je iets implementeert.

Limitaties

De database omvang was in deze test niet groot genoeg om tot significante resultaten te komen. Het is niet voor niets dat Mailchimp aanraadt om pas te A/B testen bij 10.000 contacten. Zo laat je minder over aan het toeval, omdat je dan wel voldoende data hebt. Dat gezegd hebbende zijn de door ons vergaarde data niet zonder waarde, omdat het praktijkdata betreft en zeker wel trends laten zien van onze doelgroep. Dit geeft ons tevens een richting welke tests het waard zijn om verder mee te testen en welke testen we moeten laten gaan omdat deze geen, of zelfs een negatief effect hebben.

Tijdens de testperiode was de IOS 15 update net uitgerold. Deze IOS-update geeft gebruikers van Apple devices de mogelijkheid om niet langer door te geven of zij wel of niet openen en klikken. Dus de klik rate en de open rate zijn mogelijk wat naar beneden gegaan in die tijd. Dit is iets waar rekening mee dient gehouden te worden.

Meer onderzoeken downloaden? Begin dan eens bij deze.