Hoe haal je het meest uit je A/B Test?

Niet alleen de ‘winnaars’ zijn belangrijk voor je optimalisatie, nee, álle A/B Testen zijn belangrijk. Uit iedere A/B Test zijn ontzettend waardevolle learnings te halen, die je zullen helpen bij je volgende stap en ervoor zorgen dat je de doelgroep nóg beter leert kennen.

Daar draait het allemaal om, het leren kennen van je doelgroep, zodat je op basis van deze kennis je business kunt verbeteren. Vaak wordt er bij A/B Testen enkel gekeken naar het aantal succesvolle (lees: significante verbeteringen) A/B Testen, maar de essentie van het uitvoeren van A/B Testen is om inzicht in gedrag van je gebruikers te krijgen om vervolgstappen te bepalen. Dat daar dan in 30% van de gevallen een significante verbetering in zichtbaar is, is natuurlijk het gevolg van je inspanningen van voorgaande analyses.

Ik heb 3 tips voor je:

1. Meet alles door dat invloed heeft op het gedrag van de bezoeker
2. Analyseer deze meetpunten
3. Segmenteer je data

1. Meet alles door dat invloed heeft op het gedrag van de bezoeker

Voordat je je A/B Test start, bedenk dan nogmaals of je alles doormeet waar veranderingen in plaats kunnen vinden. Dit kun je met de developer regelen of middels Google Tag Manager (en wellicht een beetje hulp van je developer)

Voorbeeld:

Ik werkte laatst aan een A/B test gericht op mobiele bezoekers, waarbij de filter- en sorteeroptie sticky (‘vastgeplakt’ op een positie in het scherm) waren gemaakt op de categoriepagina, zodat de bezoeker niet helemaal naar boven hoefde te scrollen om een filter te selecteren. Belangrijk is hierbij dat je deze twee functies doormeet en meeneemt in je analyse, nadat de A/B test is afgelopen. Hierdoor ben je in staat om een eventueel verschil in gedrag waar te nemen, op basis van data, en niet alleen afhankelijk van je primaire doel (het verhogen van het aantal transacties per user in deze case). Enorm belangrijk als je je gebruikers écht wil leren kennen én dus ook de eventuele verbetering wil onderbouwen.

Wanneer je dit niet doormeet, zul je niet weten of er bijvoorbeeld ook een verandering in gebruik heeft plaatsgevonden, of enkel de ingang tot de filters hebt vereenvoudigd.

2. Analyseer deze meetpunten

Zoals hierboven al beschreven, is het enorm belangrijk om deze meetpunten in je eindanalyse mee te nemen. Hierdoor zul je een beter beeld krijgen van je gebruikers, learnings die je ook op andere digitale kanalen kunt toepassen! Wanneer je geen significante verbetering hebt behaald met een A/B test, haal je er alsnog learnings uit. Een niet-winnende A/B test is dus ineens een stuk leuker en interessanter. Soms kan een verandering in gedrag (zoals bijvoorbeeld het gebruik van filters en/of sorteer-functie) niet direct resulteren in meer transacties/hogere omzet, maar verhoog je hiermee wel de ervaring van je bezoekers. Deze is (bijna) niet in cijfers uit te drukken of te achterhalen uit tools, maar op langere termijn is dit wel één van de belangrijkste factoren waarmee je het verschil kunt maken ten opzichte van je concurrentie.

3. Segmenteer je data

Het eerste dat ik heb geleerd binnen het analyseren van data: segmenteren. Omdat er simpelweg geen “average user” bestaat (hierover later meer).

Segmenteer je data om niet alleen meer te weten te komen over het effect van je A/B test bij de segmenten op je primair doel, maar ook dus bij die extra meetpunten die je hebt meegenomen in je A/B test!

Sommige aanpassingen hebben bij het ene segment een enorm groot effect, terwijl dat bij andere segmenten stukke minder kan zijn, tot zelfs helemaal niets.

Voorbeeld: Een A/B test waarbij het lettertype ín de zoekbalk was veranderd van een serif naar sans-serif lettertype. Het effect: enorme toename van de zoekfunctie (+15%) bij de oudere gebruikers (35+).

Hoe komt dat dan…nou wanneer mensen ouder worden, gaat ook het zicht achteruit, helaas. Dit hoort nou eenmaal bij het ouder worden. Maar dat betekent dat we daar ten allen tijde rekening mee moeten houden bij belangrijke, functionele elementen! Daarna is bij geen enkel belangrijk element het serif lettertype toegepast.

Zo belangrijk was die segment analyse dus!

Ik hoop dat je wat aan bovenstaande tips hebt gehad!

Originally posted on Medium at 12-04-2018: https://medium.com/@DannyLoeffen/hoe-haal-je-het-meest-uit-je-a-b-test-af9a6381d71f