Gratis tool
Je test is afgelopen — maar heeft de variant echt gewonnen? Vul de bezoekers en conversies per versie in en zie de p-waarde, het betrouwbaarheidsinterval en een oordeel in gewone taal. Alles wordt in je browser berekend terwijl je typt.
De variant verslaat de controlegroep — het verschil is statistisch significant.
p = 0.0283 bij 95% betrouwbaarheid
De wiskunde
De calculator voert een z-toets voor twee proporties uit, de standaardtoets om twee conversieratio's te vergelijken:
p₁ = conversies A ÷ bezoekers A en p₂ = conversies B ÷ bezoekers B.p = (conversies A + conversies B) ÷ (bezoekers A + bezoekers B).SE = √[p(1 − p) × (1/n₁ + 1/n₂)].z = (p₂ − p₁) ÷ SE. De p-waarde is de kans op een z die minstens zo ver van nul ligt als er geen echt verschil was.0,0283 ligt onder 0,05, dus bij 95% betrouwbaarheid is B een significante winnaar. Bij 99% betrouwbaarheid niet: daarvoor moet p onder 0,01 liggen.
Het resultaat lezen
Als het interval nul bevat, is het resultaat op dat betrouwbaarheidsniveau niet significant. Bij 99% loopt het interval van het voorbeeld van −0,2 tot +2,2 punten, en dat is precies waarom het daar niet slaagt.
Steekproefgrootte
Hetzelfde resultaat van 5% → 6% (een stijging van 20%), met verschillende aantallen bezoekers per variant:
| Bezoekers per variant | z | p-waarde (tweezijdig) | 95%-interval (punten) |
|---|---|---|---|
| 1.000 | 0,98 | 0,327 | −1,0 tot +3,0 |
| 2.500 | 1,55 | 0,121 | −0,3 tot +2,3 |
| 5.000 | 2,19 | 0,028 | +0,1 tot +1,9 |
| 10.000 | 3,10 | 0,002 | +0,4 tot +1,6 |
| 20.000 | 4,39 | < 0,0001 | +0,6 tot +1,4 |
Een ‘niet significant’ resultaat bij 1.000 bezoekers betekent niet dat B geen verschil maakte. Het betekent dat de test te klein was om het te zien. Bereken vóór de lancering hoeveel verkeer je nodig hebt met de steekproefgrootte-calculator: een stijging van 20% op een basis van 5% vraagt 8.156 bezoekers per variant bij 95% betrouwbaarheid en 80% power.
Voordat je uitrolt
Geen winnaar
Veelgestelde vragen
Het betekent dat het verschil dat je hebt gemeten waarschijnlijk geen toeval is. Een p-waarde van 0,03 zegt: als de twee versies in werkelijkheid identiek waren, zou je ongeveer 3% van de tijd een verschil van deze omvang (of groter) zien. Het is bewijs dat er iets veranderd is — geen zekerheid, en geen maat voor hoe groot de verandering is.
De conventie is p onder 0,05, wat overeenkomt met 95% betrouwbaarheid. Leg de lat op 99% als de wijziging duur is om uit te rollen of moeilijk terug te draaien, en neem genoegen met 90% bij tekstaanpassingen met weinig risico, waar snel ongeveer gelijk hebben meer waard is dan traag zeker weten.
Nee. Steeds opnieuw kijken en stoppen bij het eerste groene resultaat — peeking — jaagt het aantal vals-positieven flink omhoog. Bepaal de steekproefgrootte voordat je live gaat, draai de test tot je die hebt bereikt en lees het resultaat daarna één keer af. De steekproefgroottecalculator geeft je dat getal.
Nee. De hele test draait in je browser met gewone JavaScript. Niets van wat je invoert wordt geüpload, gelogd of opgeslagen, en de pagina werkt offline zodra hij is geladen.
Gebruik een z-toets voor twee proporties. Bereken elke conversieratio, de gepoolde ratio over beide varianten en de standaardfout √[p(1 − p)(1/n₁ + 1/n₂)]. Deel het verschil in ratio's door de standaardfout om z te krijgen, en zet z om in een p-waarde. 250/5.000 tegen 300/5.000 geeft z ≈ 2,19 en een tweezijdige p-waarde van 0,028, significant bij 95%.
De kans om een verschil te zien dat minstens zo groot is als het verschil dat je mat, als de twee versies in werkelijkheid even goed presteerden. Een p-waarde van 0,03 betekent dat een verschil van deze omvang ongeveer 3% van de tijd puur door toeval zou opduiken. Het is niet de kans dat B beter is, en het meet niet hoe groot het effect is.
Meestal omdat de steekproef te klein is voor de grootte van het verschil. Een resultaat van 5% → 6% is niet significant met 2.500 bezoekers per variant (p = 0,12), maar wel met 5.000 (p = 0,028). Controleer de geplande steekproefgrootte voordat je een vlak resultaat leest als ‘geen effect’.
Tweezijdig, tenzij je vóór de test hebt besloten dat een verlies en geen verandering tot dezelfde beslissing zouden leiden. Eenzijdig halveert de p-waarde wanneer B voorligt (0,028 wordt 0,014 in het standaardvoorbeeld), en daarom is overstappen nadat je de data hebt gezien niet legitiem.
Ja, door elke variant apart met de controlegroep te vergelijken. Elke extra vergelijking vergroot de kans op een onterechte winnaar, dus gebruik per vergelijking een strengere drempel: bij twee varianten tegen de controlegroep toets je elk op 97,5% betrouwbaarheid in plaats van 95%.
Gerelateerd
Een p-waarde vertelt je dat er iets is veranderd. PulsePanda's session replay, heatmaps en funnels laten je zien wat mensen echt deden.
Start gratis