A/B-test steekproefgrootte-calculator

De calculator gebruikt de standaardformule voor steekproefgrootte om twee conversieratio's te vergelijken. Per variant:

n = (zα/2 + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

• p₁ is je basisconversieratio, als fractie.
• p₂ is de ratio die je wilt kunnen detecteren: de basis verhoogd met het minimaal detecteerbare effect, dus p₂ = p₁ × (1 + MDE).
• z_α/2 komt uit het betrouwbaarheidsniveau, tweezijdig: 1,645 bij 90%, 1,96 bij 95%, 2,576 bij 99%.
• z_β komt uit de power: 0,842 bij 80%, 1,282 bij 90%, 1,645 bij 95%.

Uitgewerkt voorbeeld: de standaardwaarden

Een basis van 5%, een relatieve stijging van 10%, 95% betrouwbaarheid en 80% power:

• p₁ = 0,05 en p₂ = 0,05 × 1,10 = 0,055, dus het te detecteren verschil is 0,005.
• (1,96 + 0,8416)² = 2,8016² ≈ 7,849.
• p₁(1 − p₁) + p₂(1 − p₂) = 0,0475 + 0,051975 = 0,099475.
• n = 7,849 × 0,099475 ÷ 0,005² ≈ 31.231,0, naar boven afgerond op 31.232 bezoekers per variant.

Twee varianten hebben samen 62.464 bezoekers nodig. Dat is het getal dat de calculator toont voordat je iets verandert.

Benodigde bezoekers per variant bij 95% betrouwbaarheid en 80% power. Lees de rij af tot de relatieve stijging die je wilt detecteren.

Twee patronen vallen op. De stijging die je wilt detecteren halveren, maakt de steekproef ongeveer vier keer zo groot. En een stap met een lage conversie, zoals een aankoopratio van 1%, heeft meerdere keren het verkeer nodig van een stap van 10%, zoals een doorklik naar de prijzen.

Reken de steekproefgrootte om naar een looptijd voordat je lanceert:

dagen = bezoekers per variant × aantal varianten ÷ dagelijkse bezoekers die in de test komen

Rond daarna af op hele weken. Bezoekers op doordeweekse dagen en in het weekend gedragen zich anders, dus een test die midden in de week eindigt, geeft sommige dagen te veel gewicht.

• Met de standaardwaarden (62.464 bezoekers in totaal) en 2.000 geschikte bezoekers per dag: 31,2 dagen, dus laat hem 5 weken lopen.
• Met 5.000 geschikte bezoekers per dag: 12,5 dagen, dus 2 weken.
• Met 800 geschikte bezoekers per dag: 78 dagen. Dat is een teken om een grotere verandering of een drukkere pagina te testen (zie hieronder).

Tel alleen bezoekers die de geteste pagina of stap echt bereiken, niet het totale siteverkeer. Een checkouttest neemt alleen mensen op die de checkout bereiken.

Laat de test ook met veel verkeer minstens één volle week lopen. Leg de einddatum vooraf vast en stop niet eerder omdat het resultaat op dag drie significant lijkt. Steeds opnieuw kijken en stoppen bij de eerste significante meting blaast het percentage fout-positieven op tot ver boven het betrouwbaarheidsniveau dat je koos.

Betrouwbaarheid beschermt tegen fout-positieven: een winnaar aanwijzen terwijl er geen echt verschil is. Bij 95% geeft een test van twee identieke varianten ongeveer 5% van de tijd een ‘significant’ resultaat.

Power beschermt tegen fout-negatieven: een echt effect missen. Bij 80% power, en als de echte stijging precies je minimaal detecteerbare effect is, detecteert de test die 8 van de 10 keer.

Een van beide verhogen kost verkeer. Met een basis van 5% en een stijging van 10%:

Eenzijdige vs. tweezijdige tests

Het betrouwbaarheidsniveau is hier tweezijdig: de test kan vaststellen dat de variant beter of slechter is dan de controlegroep. Een eenzijdige test bij 95% gebruikt z = 1,645, dezelfde waarde als tweezijdig bij 90%, en heeft dus dezelfde 24.601 bezoekers per variant nodig. Die besparing is alleen eerlijk als je ‘slechter’ en ‘geen verschil’ op dezelfde manier zou behandelen. Zou een verliezende variant veranderen wat je doet, houd de test dan tweezijdig.

• Relatief vs. absoluut effect. Het minimaal detecteerbare effect is hier relatief. Een ratio van 5% naar 6% brengen is een relatieve stijging van 20% (8.156 per variant). Als je 1 invult, betekent dat 5% naar 5,05%, waarvoor ongeveer 3 miljoen per variant nodig is.
• De verkeerde eenheid tellen. De steekproefgrootte telt de eenheid die je randomiseert en die converteert. Wijs je varianten per bezoeker toe, tel dan bezoekers, geen sessies of paginaweergaven. Herhaalde sessies van één persoon zijn geen onafhankelijke steekproeven.
• Meer dan twee varianten. Het getal is per variant, dus een A/B/C-test heeft drie keer zoveel nodig. Elke extra vergelijking met de controlegroep vergroot ook de kans op een onterechte winnaar; een gangbare oplossing is het foutpercentage over de vergelijkingen te verdelen, bijvoorbeeld door elk van twee vergelijkingen te toetsen op 97,5% in plaats van 95%.
• Verdund verkeer. Als maar een deel van de opgenomen bezoekers de wijziging ooit ziet, wordt het echte effect verdund en heeft de test te weinig power. Neem mensen op op het punt waar de varianten echt verschillen.
• De test halverwege aanpassen. Een variant bewerken, de verkeersverdeling veranderen of halverwege een variant toevoegen zet de klok terug naar nul.

• Test een grotere verandering. Een vernieuwde prijzenpagina kan de conversie aannemelijk 20–30% verschuiven; een knopkleur niet. Grotere effecten hebben veel kleinere steekproeven nodig.
• Meet een stap die beter converteert. Test op de doorklik naar aanmelden in plaats van op betaalde conversie, en bevestig het effect verderop daarna over een langere periode.
• Accepteer bewust 90% betrouwbaarheid. Dat scheelt ongeveer een vijfde van het verkeer in ruil voor meer fout-positieven. Schrijf die afweging op voordat de test begint.
• Doe helemaal geen A/B-test. Voor kleine sites vind je het probleem meestal sneller door session replays te bekijken van mensen die afhaken en na te gaan waar de funnel lekt, dan met een test die nooit significant kan worden.

Heeft de test zijn volledige looptijd gehad, controleer het resultaat dan met de significantiecalculator voor A/B-tests.