Gratisverktyg
Kalkylator för signifikans i A/B-test
Ditt test är avslutat — men vann varianten verkligen? Ange antal besökare och konverteringar för varje version och se p-värdet, konfidensintervallet och ett utlåtande i klartext. Allt räknas ut i din webbläsare medan du skriver.
Vanliga frågor
Om statistisk signifikans
Vad betyder statistisk signifikans egentligen?
Det betyder att skillnaden du mätte sannolikt inte är en slump. Ett p-värde på 0,03 säger att om de två versionerna i själva verket vore identiska skulle du se ett så här stort glapp (eller större) ungefär 3 % av gångerna. Det är ett belägg för att något har förändrats — inte ett bevis, och inte ett mått på hur stor förändringen är.
Vilket p-värde räknas som en vinnare?
Konventionen är p under 0,05, vilket motsvarar 95 % konfidens. Höj ribban till 99 % när förändringen är dyr att lansera eller svår att backa, och nöj dig med 90 % för lågriskjusteringar av text, där det är mer värt att ha ungefär rätt snabbt än att vara helt säker långsamt.
Kan jag avsluta testet så fort det blir signifikant?
Nej. Att titta gång på gång och stanna vid det första gröna resultatet — att tjuvkika — blåser upp antalet falska positiva rejält. Bestäm urvalsstorleken innan du drar igång, kör tills du når den och läs sedan av resultatet en enda gång. Kalkylatorn för urvalsstorlek ger dig den siffran.
Skickar den här kalkylatorn min data någonstans?
Nej. Hela testet körs i din webbläsare med ren JavaScript. Inget du skriver laddas upp, loggas eller sparas, och sidan fungerar offline när den väl har laddats.
Relaterat
Mer från PulsePanda
Se varför vinnaren vann
Ett p-värde säger dig att något förändrades. PulsePandas session replay, heatmaps och trattar visar vad folk faktiskt gjorde.
Kom igång gratis