Gratisverktyg

Kalkylator för signifikans i A/B-test

Ditt test är avslutat — men vann varianten verkligen? Ange antal besökare och konverteringar för varje version och se p-värdet, konfidensintervallet och ett utlåtande i klartext. Allt räknas ut i din webbläsare medan du skriver.

+20.0%

Varianten slår kontrollen — skillnaden är statistiskt signifikant.

p = 0.0283 vid 95 % konfidens

Kontrollens konverteringsgrad
5.00%
Variantens konverteringsgrad
6.00%
p-värde
0.0283
Skillnadsintervall
+0.1% … +1.9%

Vanliga frågor

Om statistisk signifikans

Vad betyder statistisk signifikans egentligen?

Det betyder att skillnaden du mätte sannolikt inte är en slump. Ett p-värde på 0,03 säger att om de två versionerna i själva verket vore identiska skulle du se ett så här stort glapp (eller större) ungefär 3 % av gångerna. Det är ett belägg för att något har förändrats — inte ett bevis, och inte ett mått på hur stor förändringen är.

Vilket p-värde räknas som en vinnare?

Konventionen är p under 0,05, vilket motsvarar 95 % konfidens. Höj ribban till 99 % när förändringen är dyr att lansera eller svår att backa, och nöj dig med 90 % för lågriskjusteringar av text, där det är mer värt att ha ungefär rätt snabbt än att vara helt säker långsamt.

Kan jag avsluta testet så fort det blir signifikant?

Nej. Att titta gång på gång och stanna vid det första gröna resultatet — att tjuvkika — blåser upp antalet falska positiva rejält. Bestäm urvalsstorleken innan du drar igång, kör tills du når den och läs sedan av resultatet en enda gång. Kalkylatorn för urvalsstorlek ger dig den siffran.

Skickar den här kalkylatorn min data någonstans?

Nej. Hela testet körs i din webbläsare med ren JavaScript. Inget du skriver laddas upp, loggas eller sparas, och sidan fungerar offline när den väl har laddats.

Relaterat

Mer från PulsePanda

Se varför vinnaren vann

Ett p-värde säger dig att något förändrades. PulsePandas session replay, heatmaps och trattar visar vad folk faktiskt gjorde.

Kom igång gratis