Kalkylator för stickprovsstorlek i A/B-test

Kalkylatorn använder standardformeln för stickprovsstorlek när två konverteringsgrader jämförs. För varje variant:

n = (zα/2 + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

• p₁ är din baskonverteringsgrad, som bråktal.
• p₂ är den grad du vill kunna upptäcka: basen höjd med den minsta detekterbara effekten, alltså p₂ = p₁ × (1 + MDE).
• z_α/2 kommer från konfidensnivån, tvåsidigt: 1,645 vid 90 %, 1,96 vid 95 %, 2,576 vid 99 %.
• z_β kommer från styrkan: 0,842 vid 80 %, 1,282 vid 90 %, 1,645 vid 95 %.

Räkneexempel: standardvärdena

En bas på 5 %, en relativ ökning på 10 %, 95 % konfidens och 80 % styrka:

• p₁ = 0,05 och p₂ = 0,05 × 1,10 = 0,055, så skillnaden som ska upptäckas är 0,005.
• (1,96 + 0,8416)² = 2,8016² ≈ 7,849.
• p₁(1 − p₁) + p₂(1 − p₂) = 0,0475 + 0,051975 = 0,099475.
• n = 7,849 × 0,099475 ÷ 0,005² ≈ 31 231,0, avrundat uppåt till 31 232 besökare per variant.

Två varianter kräver 62 464 besökare totalt. Det är siffran kalkylatorn visar innan du ändrar något.

Besökare som krävs per variant vid 95 % konfidens och 80 % styrka. Läs raden bort till den relativa ökning du vill upptäcka.

Två mönster sticker ut. Att halvera den ökning du vill upptäcka ungefär fyrdubblar stickprovet. Och ett steg med låg konvertering, till exempel en köpgrad på 1 %, kräver flera gånger så mycket trafik som ett steg på 10 %, till exempel ett klick vidare till prissidan.

Räkna om stickprovsstorleken till en tidslängd innan du startar:

dagar = besökare per variant × antal varianter ÷ dagliga besökare som går in i testet

Avrunda sedan uppåt till hela veckor. Besökare på vardagar och helger beter sig olika, så ett test som slutar mitt i veckan ger vissa dagar för stor vikt.

• Med standardvärdena (62 464 besökare totalt) och 2 000 kvalificerade besökare per dag: 31,2 dagar, så kör i 5 veckor.
• Med 5 000 kvalificerade besökare per dag: 12,5 dagar, så 2 veckor.
• Med 800 kvalificerade besökare per dag: 78 dagar. Det är ett tecken på att du bör testa en större förändring eller en sida med mer trafik (se nedan).

Räkna bara besökare som faktiskt når sidan eller steget som testas, inte webbplatsens totala trafik. Ett test i kassan tar bara med personer som når kassan.

Kör i minst en hel vecka även om du har mycket trafik. Bestäm slutdatumet i förväg och sluta inte tidigare för att resultatet ser signifikant ut på dag tre. Att titta gång på gång och avbryta vid första signifikanta avläsning blåser upp andelen falska positiva långt över den konfidensnivå du valde.

Konfidens skyddar mot falska positiva: att utse en vinnare när det inte finns någon verklig skillnad. Vid 95 % ger ett test med två identiska varianter ett ”signifikant” resultat ungefär 5 % av gångerna.

Styrka skyddar mot falska negativa: att missa en verklig effekt. Med 80 % styrka, och om den verkliga ökningen är exakt din minsta detekterbara effekt, upptäcker testet den 8 gånger av 10.

Att höja någon av dem kostar trafik. Med en bas på 5 % och en ökning på 10 %:

Ensidiga och tvåsidiga test

Konfidensnivån här är tvåsidig: testet kan visa att varianten är bättre eller sämre än kontrollen. Ett ensidigt test vid 95 % använder z = 1,645, samma värde som tvåsidigt vid 90 %, så det kräver samma 24 601 besökare per variant. Den besparingen är bara ärlig om du skulle behandla ”sämre” och ”ingen skillnad” på samma sätt. Om en förlorande variant skulle ändra vad du gör, behåll testet tvåsidigt.

• Relativ eller absolut effekt. Den minsta detekterbara effekten är här relativ. Att flytta en grad från 5 % till 6 % är en relativ ökning på 20 % (8 156 per variant). Att ange 1 skulle betyda 5 % till 5,05 %, vilket kräver ungefär 3 miljoner per variant.
• Att räkna fel enhet. Stickprovsstorleken räknar den enhet du randomiserar och som konverterar. Om du tilldelar varianter per besökare, räkna besökare, inte sessioner eller sidvisningar. Upprepade sessioner från samma person är inte oberoende stickprov.
• Fler än två varianter. Siffran gäller per variant, så ett A/B/C-test kräver tre gånger så mycket. Varje extra jämförelse mot kontrollen ökar också risken för en falsk vinnare; en vanlig lösning är att dela upp felnivån mellan jämförelserna, till exempel genom att testa var och en av två jämförelser vid 97,5 % i stället för 95 %.
• Utspädd trafik. Om bara en del av de inkluderade besökarna någonsin ser förändringen späds den verkliga effekten ut och testet får för låg styrka. Inkludera personer vid den punkt där varianterna faktiskt skiljer sig åt.
• Att ändra testet mitt i. Att redigera en variant, ändra trafikfördelningen eller lägga till en variant halvvägs nollställer klockan.

• Testa en större förändring. En omgjord prissida kan rimligen flytta konverteringen med 20–30 %; en knappfärg kan inte det. Större effekter kräver mycket mindre stickprov.
• Mät ett steg som konverterar bättre. Testa på klicket vidare till registreringen i stället för på betald konvertering, och bekräfta sedan effekten längre fram under en längre period.
• Acceptera 90 % konfidens medvetet. Det sparar ungefär en femtedel av trafiken i utbyte mot fler falska positiva. Skriv ner avvägningen innan testet startar.
• Gör inget A/B-test alls. För små webbplatser hittar du oftast problemet snabbare genom att titta på session replays av personer som hoppar av och se var tratten läcker, än med ett test som aldrig kan nå signifikans.

När testet har pågått hela sin planerade tid kontrollerar du resultatet med signifikanskalkylatorn för A/B-test.