Als je twee versies van een e-mail uit wilt testen bij je doelgroep dan kan je dat doen door middel van een A/B-test. Zo kan je bijvoorbeeld nagaan welk onderwerp voor een hoger openingspercentage zorgt of welke inhoud leidt tot meer aanmeldingen voor je evenement. 

De start van je A/B-test is het maken van twee versies van een e-mail. Die kun je vervolgens gaan gebruiken voor je A/B-test. 

Zodra de mailings af zijn, kun je in je reis de A/B test gaan invoegen. Kies bij je reis voor een tegel van het type A/B-test, kies op de tegel bij beide versies voor E-mail en klik daarna op Test maken:

In je reis zie je nu een splitsing met Versie A en Versie en B. 

Stel vervolgens bij het rechtermenu in hoe je de test wilt laten uitvoeren:

Weergavenaam
Voer een naam in om je test te kunnen herkennen. Deze naam wordt weergegeven in het A/B-testpaneel en in de analyses, zodat je kunt zien welke tests er actief zijn.

Versies
Selecteer de twee e-mails die je wilt testen. Je kunt dit doen op de betreffende e-mailtegels of door een selectie te maken in het zijpaneel.

Besturingselementgroep (controlegroep)
Geen besturingselementgroep: de test wordt realtime uitgevoerd; De totale doelgroep doet mee aan het experiment en je kunt achteraf zien welke versie beter heeft gescoord. Deze input kun je dan voor een volgende mail gebruiken. 
Besturingselementgroep toevoegen: je kiest een percentage van je doelgroep voor de test en de winnende versie wordt naar de rest van je doelgroep verstuurd. Zodra dat % de mail heeft, zal er gekeken worden welke versie het beste heeft gescoord. Met name met kleine aantallen is deze manier heel erg af te raden, omdat er vaak geen duidelijke winnaar is.

Begindoelgroep
Geef aan welke doelgroep je wilt gebruiken voor de A/B-test voordat er een winnende versie wordt bepaald. Dit stel je alleen bij "besturingselement" in. Standaard staat deze op 20%, maar je kunt deze groter of kleiner maken.

Het aanpassen van je begindoelgroep is alleen beschikbaar voor reizen die gebaseerd zijn op segmenten, omdat je dan al weet hoeveel personen er zijn. Bij reizen die starten op basis van triggers is deze optie niet beschikbaar, omdat personen instromen zodra ze een actie uitvoeren. Het totale aantal deelnemers is dan vooraf onbekend.

Experimentdistributie
Stel in hoe je de doelgroep wilt verdelen. Standaard staat de schuifregelaar op 50/50, maar je kunt dit aanpassen. Eén versie moet minimaal 10% en maximaal 90% van de doelgroep ontvangen. Versie A is meestal je controlegroep, versie B je variant.

Winnend metrisch gegeven
Bepaal wat de winnende versie is door een metriek te kiezen: doorklikpercentage, percentage geopend of gebaseerd op het reisdoel (de winnaar is de versie met het hoogste percentage personen dat het reisdoel heeft behaald). Dit heeft ook heel erg te maken met wat je test. Test je bijvoorbeeld iets in de mail (positie van een blok of visualisatie van een blok), dan kies je voor doorklikpercentage. Kies je voor de onderwerpregel of de afzendernaam (iets wat iemand dus direct ziet) dan kies je voor openingspercentage.

Einddatum van de test
Kies of je de test automatisch wilt laten eindigen of op een specifieke datum en tijd. Bij automatische beëindiging bepaalt het systeem de winnende versie zodra de resultaten statistisch significant zijn. De winnende versie wordt dan automatisch naar de rest van je doelgroep gestuurd; de verliezende versie vervalt. Als je kiest voor statistische significantie maar er is na 30 dagen nog geen duidelijke winnaar, dan wordt de standaardversie verzonden. Beëindig je de test handmatig, dan kan het tot vier uur duren voordat de controlegroep wordt vrijgegeven.

Standaardversie
Kies een standaardversie voor het geval de test geen winnaar oplevert. Als er binnen de gestelde termijn geen duidelijke winnaar is, wordt deze versie automatisch verzonden naar de overgebleven doelgroep.

Nadat je je reis hebt gepubliceerd kan je zien in welke fase de test zich bevindt:

• Concept
  Deze tests zijn nog niet uitgevoerd, dus je kunt de instellingen nog aanpassen.
• Wordt uitgevoerd
  Deze tests zijn momenteel actief. De instellingen zijn vergrendeld, waardoor je geen belangrijke wijzigingen meer kunt doorvoeren.
• Gestopt
  Deze tests zijn gestopt. Je kunt kiezen welke versie uiteindelijk wordt verzonden.
• Beëindigd
  Deze tests eindigen zodra er een statistisch significante winnaar is gevonden of wanneer de test automatisch stopt op een vooraf ingestelde datum en tijd. Beëindigde tests kan je niet opnieuw gebruiken.

Er zijn drie mogelijke A/B-testresultaten:

1. Test afgesloten met een duidelijke winnaar
   De test laat zien dat één versie beter presteert dan de andere. De winnende versie krijgt een ‘winnaar’-badge en wordt automatisch verzonden naar elke nieuwe persoon die de reis start.
2. Test was niet overtuigend
   De resultaten laten zien dat ontvangers even goed reageren op versie A als op versie B. In dat geval wordt de standaardversie verzonden naar elke nieuwe persoon die de reis start.
3. Test is gestopt
   De gebruiker heeft de test voortijdig gestopt, voordat deze kon worden afgerond. De standaardversie wordt dan verzonden naar elke nieuwe persoon die de reis start.

Uiteraard kan je ook altijd zelf een reis samenstellen met twee versies van een mail waarbij je na verzending met behulp van de statistieken bekijkt welke versie het beter deed bij je doelgroep. Dit kun je doen als je bijvoorbeeld de tijdstip van verzending wilt testen. Gebruik hiervoor bijvoorbeeld de tegel Doelgroep opsplitsen (op basis van percentage of aantal). Vraag eventueel of je key-user mee kan kijken naar een goede opzet.