A/B Tests alle instellingen

De meest gebruikte A/B test is eenvoudig: hij serveert het halve publiek de ene variant en het halve publiek de andere variant. Dat is perfect voor een eerste experiment, maar er is veel meer mogelijk.

Geplande tests

A/B tests zijn bewijs-gebaseerde optimalisaties. Als u het systematisch wilt doen, wilt u graag elke A/B test apart benoemen en bewaren, zodat u ze kunt vergelijken.

Als u meerdere tests heeft gedraaid, gaat het het overzicht van lopende A/B tests er ongeveer zo uitzien:

Wat ziet u in dit scherm?

Type	Het soort test: standaard is een A/B test, maar u kunt ook multivariate tests maken. U ziet een voorbeeld met 4 varianten A/B/C/D er tussen staan.
Actief	Geeft aan welke test momenteel actief is. Volgorde is belangrijk. De bovenste test die actief is, wordt gebruikt in uw website. In dit voorbeeld is de bovenste test "Nog niet" actief, omdat de begindatum nog niet geweest is. De tweede test is actief, en daardoor speelt de derde test geen rol meer, en is die grijs in deze tabel. Bovendien zit in elke A/B test een vink "Actief" waarmee u de hele test in één keer aan en uit kan zetten. Default staat hij uit, u moet handmatig aanvinken om een nieuwe test actief te maken. Zo wordt voorkomen dat er gaten vallen op de site omdat uw voorbereiding nog niet klaar was.
Van/Tot	Hiermee kunt u tests plannen, bijvoorbeeld om te zorgen dat tijdens een reclamecampagne er geen A/B test loopt, of juist dat de reclamecampagne A/B getest en apart gemeten wordt. Als u deze datums invult, wordt de test automatisch actief en weer inactief als de datums verstrijken. U kunt er ook een tijdstip bij invullen en zo het begin en eind van de test op de seconde nauwkeurig timen. Dit kan handig zijn als u de A/B test alleen op rustige tijden wilt laten lopen, of met een campagne die exact op een bepaald tijdstip start. Als u systematisch en gepland gaat A/B testen, is het altijd goed om minstens de "Van" datum in te vullen op vandaag, dan weet u achteraf nog waar het betrekking op had.
Verdeling	De standaard verdeling is dat alle varianten even vaak getoond worden, maar dat hoeft niet. Op een site waar een groot volume sales wordt gedaan, is het risico soms te groot, en dan kunt u bijvoorbeeld 90% van het verkeer de normale site geven, en maar 10% de experimentele site.
Views	Het totale aantal bezoekers dat een A/B tested view toegewezen heeft gekregen. Zo kunt u een indicatie krijgen of de looptijd goed is en hoe lang het nog gaat duren. Dit zegt niet of iemand ook daadwerkelijk een A/B geteste weergave heeft gezien.
Omschrijving	Deze tekst is voor uw eigen administratie. Deze teksten ziet u terug in de statistieken. We raden aan om altijd te noteren wat de test inhield, voordat u hem activeert. Achteraf is het anders niet meer terug te halen.
Wijzig	Met het potloodje kunt u een A/B test bewerken, u krijgt het bewerkscherm dat hieronder in detail besproken wordt. De A/B test die u aan het bewerken bent, wordt oranje gekleurd in het overzicht. Met het vuilnisbakje kunt u een A/B test weggooien. Als een A/B test nooit gebruikt is, kan dat weinig kwaad, maar als dat wel het geval is, dan verliest u mogelijk ook wat gegevens uit de statistieken. Als de lijst lang wordt en de tests al heel lang geleden zijn, is het overzichtelijker om ze weg te gooien.  Met de up/down pijlen kunt u de volgorde van tests veranderen. Op deze manier kunt u een oude test weer vooraan zetten en zo weer activeren. Immers, de bovenste actieve test wordt gebruikt. Let daarbij wel op of uw administratie van uw A/B tests wel blijft kloppen. Dezelfde A/B testinstellingen gebruiken voor twee verschillende tests is af te raden, omdat u dan niet meer weet waar de cijfers betrekking op hebben. De pijlen verschijnen pas als er minimaal 2 A/B tests zijn.

Alle instellingen van 1 test

Zoals gezegd, met het potloodje bewerkt u een A/B test. De twee belangrijkste zaken die u hier kunt doen:

• Een andere verdeling dan 50/50 instellen
• Multivariate tests instellen.

De kansverdeling veranderen

Standaard krijgt elke variant een Kans van 100 mee. Dat wil zeggen, dat elke variant evenveel kans heeft om te verschijnen. Heeft u twee varianten, dan is de kans 50% voor elk. Heeft u drie varianten, dan is de kans voor elk 33%.

U kunt elke andere kansverdeling invullen. Bijvoorbeeld 70 voor de eerste en 30 voor de tweede, wat tot een kansverdeling 70%/30% leidt. 

Het totaal hoeft niet op te tellen tot 100, het systeem rekent zelf de percentages uit. Maar het is wel overzichtelijk voor uzelf om dat te doen. 

De namen van de varianten veranderen

Dit heeft pas zin om te doen als u een multivariate test gaat maken. Laat ze anders op A en B staan.

Multivariate test instellen

Test uitbreiden

Als u meer dan twee varianten wilt testen, kunt u op "Test uitbreiden" klikken. Er wordt dan automatisch een C variant toegevoegd, en de kansverdeling verandert van 50/50 naar 33/33/33. Voegt u een variant D toe, dan verandert de kansverdeling naar 25/25/25/25 enzovoorts.

U kunt zoveel varianten maken als u wilt, maar in de praktijk wordt 4 varianten al veel werk, en begint het bij 8 varianten heel onoverzichtelijk te worden. Bovendien, hoe meer varianten u heeft, hoe langer de test moet lopen om zinvolle resultaten te krijgen. Het is soms beter om een paar A/B tests na elkaar te doen en daar snel van te leren, dan 1 A/B/C/D/E test lange tijd te laten lopen die "het antwoord op alles" geeft.

Varianten benamen

U kunt deze varianten een eigen naam geven. Als u geavanceerde multivariate tests gaat doen, heten ze vaak niet meer A, B, C, D ... H, maar wilt u ze logische namen geven zoals AAA, AAB, ABA, ABB ... BBB. Of zelfs tekstuele namen zoals "KleurigeFotos" "ZwartwitFotos" "GeenFotos". 

Let wel op, dat de namen van de varianten gebruikt kunnen worden in de weergave van de website. Met andere woorden, de namen van de varianten veranderen terwijl de test loopt, kan betekenen dat er gaten vallen op uw site, items dubbel verschijnen en statistieken verkeerd geteld worden. 

De namen moeten ook om performance redenen bij voorkeur kort zijn, enkele letters of een woord. De namen zijn hoofdlettergevoelig.

Varianten weggooien of volgorde veranderen

Met de vuilnisbakjes kunt u varianten weggooien. U kunt alle varianten weggooien, ook varianten die al in gebruik zijn. Doet u dat in een lopende test, dan kunnen er dus plotseling gaten vallen op de website. 

Als u bijvoorbeeld een complexe multivariate test heeft, en combinatie F wilt u snel weghalen omdat hij superlelijk blijkt te zijn en waar mensen massaal de site van verlaten, dan kunt u beter de Kans op 0 zetten dan hem weggooien.

Met de pijltjes kunt u de volgorde veranderen. Dit is handig als u een ingewikkelde test aan het opstellen bent en de volgorde van de items voor de gebruikers logisch wilt houden. De volgorde veranderen in een lopende test heeft geen gevolgen voor de werking van het systeem, de kansverdeling blijft hetzelfde en de statistieken blijven correct gemeten worden.