Als je twee versies van een e-mail uit wilt testen bij je doelgroep dan kan je dat doen door middel van een A/B-test. Zo kan je bijvoorbeeld nagaan welk onderwerp voor een hoger openingspercentage zorgt of welke inhoud leidt tot meer aanmeldingen voor je evenement. 

Maak twee versies van een e-mail die je wilt gebruiken voor je A/B-test. In een reis voeg je vervolgens een tegel toe van het type A/B-test, kies op de tegel bij beide versies voor E-mail en klik daarna op Test maken:

In je reis zie je nu een splitsing met Versie A en Versie en B. 

Stel vervolgens in hoe je de test wilt laten uitvoeren:

Weergavenaam
Voer een naam in om je test te kunnen herkennen. Deze naam wordt weergegeven in het A/B-testpaneel en in de analyses, zodat je kunt zien welke tests er actief zijn.

Versies
Selecteer de twee e-mails die je wilt testen. Je kunt dit doen op de betreffende e-mailtegels of door een selectie te maken in het zijpaneel.

Besturingselementgroep (controlegroep)
Geen besturingselementgroep: de test wordt realtime uitgevoerd; je krijgt sneller resultaten maar er is mogelijk niet voldoende tijd om een duidelijke winnende versie te bepalen.
Besturingselementgroep toevoegen: je kiest een percentage van je doelgroep voor de test en de winnende versie wordt naar de rest van je doelgroep verstuurd.

Begindoelgroep
Geef aan welke doelgroep je wilt gebruiken voor de A/B-test voordat er een winnende versie wordt bepaald. Deze optie is alleen beschikbaar voor reizen die gebaseerd zijn op segmenten, omdat je dan al weet hoeveel klanten er zijn. Bij reizen die starten op basis van triggers is deze optie niet beschikbaar, omdat klanten instromen zodra ze een actie uitvoeren. Het totale aantal deelnemers is dan vooraf onbekend.

Experimentdistributie
Stel in hoe je de doelgroep wilt verdelen. Standaard staat de schuifregelaar op 50/50, maar je kunt dit aanpassen. Eén versie moet minimaal 10% en maximaal 90% van de doelgroep ontvangen. Versie A is meestal je controlegroep, versie B je variant.

Winnend metrisch gegeven
Bepaal wat de winnende versie is door een metriek te kiezen: doorklikpercentage, percentage geopend of gebaseerd op het reisdoel (de winnaar is de versie met het hoogste percentage personen dat het reisdoel heeft behaald). Als je bijvoorbeeld het openingspercentage wilt verhogen, kies je hier voor ‘percentage geopend’.

Einddatum van de test
Kies of je de test automatisch wilt laten eindigen of op een specifieke datum en tijd. Bij automatische beëindiging bepaalt het systeem de winnende versie zodra de resultaten statistisch significant zijn. De winnende versie wordt dan automatisch naar de rest van je doelgroep gestuurd; de verliezende versie vervalt. Als je kiest voor statistische significantie maar er is na 30 dagen nog geen duidelijke winnaar, dan wordt de standaardversie verzonden. Beëindig je de test handmatig, dan kan het tot vier uur duren voordat de controlegroep wordt vrijgegeven.

Standaardversie
Kies een standaardversie voor het geval de test geen winnaar oplevert. Als er binnen de gestelde termijn geen duidelijke winnaar is, wordt deze versie automatisch verzonden.

Nadat je je reis hebt gepubliceerd kan je zien in welke fase de test zich bevindt:

• Concept
  Deze tests zijn nog niet uitgevoerd, dus je kunt de instellingen nog aanpassen.
• Wordt uitgevoerd
  Deze tests zijn momenteel actief. De instellingen zijn vergrendeld, waardoor je geen belangrijke wijzigingen meer kunt doorvoeren.
• Gestopt
  Deze tests zijn gestopt. Je kunt kiezen welke versie uiteindelijk wordt verzonden.
• Beëindigd
  Deze tests eindigen zodra er een statistisch significante winnaar is gevonden of wanneer de test automatisch stopt op een vooraf ingestelde datum en tijd. Beëindigde tests kan je niet opnieuw gebruiken.

Er zijn drie mogelijke A/B-testresultaten:

1. Test afgesloten met een duidelijke winnaar
   De test laat zien dat één versie beter presteert dan de andere. De winnende versie krijgt een ‘winnaar’-badge en wordt automatisch verzonden naar elke nieuwe persoon die de reis start.
2. Test was niet overtuigend
   De resultaten laten zien dat ontvangers even goed reageren op versie A als op versie B. In dat geval wordt de standaardversie verzonden naar elke nieuwe persoon die de reis start.
3. Test is gestopt
   De gebruiker heeft de test voortijdig gestopt, voordat deze kon worden afgerond. De standaardversie wordt dan verzonden naar elke nieuwe persoon die de reis start.

Uiteraard kan je ook altijd zelf een reis samenstellen met twee versies van een mail waarbij je na verzending met behulp van de statistieken bekijkt welke versie het beter deed bij je doelgroep. Gebruik hiervoor bijvoorbeeld de tegel Doelgroep opsplitsen (op basis van percentage of aantal). Vraag eventueel of je key-user mee kan kijken naar een goede opzet.