Calcolatore di significatività per test A/B

Il calcolatore esegue uno z-test per due proporzioni, il test standard per confrontare due tassi di conversione:

• Tassi di conversione: p₁ = conversions A ÷ visitors A e p₂ = conversions B ÷ visitors B.
• Tasso combinato, assumendo per il momento che A e B siano uguali: p = (conversions A + conversions B) ÷ (visitors A + visitors B).
• Errore standard della differenza: SE = √[p(1 − p) × (1/n₁ + 1/n₂)].
• Statistica del test: z = (p₂ − p₁) ÷ SE. Il p-value è la probabilità di ottenere una z almeno così lontana da zero se non ci fosse una vera differenza.

Esempio svolto: i valori predefiniti

• A: 250 conversioni su 5.000 visitatori = 5,00%. B: 300 su 5.000 = 6,00%. È un aumento relativo del 20%.
• Tasso combinato: 550 ÷ 10.000 = 0,055.
• SE = √(0,055 × 0,945 × (1/5.000 + 1/5.000)) ≈ 0,00456.
• z = 0,01 ÷ 0,00456 ≈ 2,19, che dà un p-value bilaterale di 0,0283.

0,0283 è sotto 0,05, quindi con confidenza al 95% B è un vincitore significativo. Con confidenza al 99% non lo è: servirebbe un p sotto 0,01.

• p-value. Quanto sarebbe sorprendente lo scarto se A e B fossero davvero identici. Non dice nulla su quanto sia grande l'effetto. Un aumento minimo e inutile può avere un p-value minimo con abbastanza traffico.
• Aumento. La variazione relativa da A a B: (6,00% − 5,00%) ÷ 5,00% = +20% nell'esempio. È la tua stima singola migliore, ma è rumorosa.
• Intervallo di confidenza. L'intervallo delle differenze reali compatibili con i dati, in punti percentuali. Per l'esempio al 95% va da circa +0,1 a +1,9 punti: B è migliore, ma il guadagno reale potrebbe essere qualsiasi cosa da quasi nulla a quasi il doppio di quanto hai misurato. Usalo per decidere se vale la pena rilasciare la modifica, non solo se è reale.

Se l'intervallo attraversa lo zero, il risultato non è significativo a quel livello di confidenza. Al 99% l'intervallo dell'esempio va da −0,2 a +2,2 punti, ed è proprio per questo che lì non supera il test.

Lo stesso risultato dal 5% al 6% (un aumento del 20%), con un numero diverso di visitatori per variante:

Un risultato “non significativo” con 1.000 visitatori non significa che B non abbia fatto alcuna differenza. Significa che il test era troppo piccolo per dirlo. Calcola il traffico che ti serve prima del lancio con il calcolatore della dimensione del campione: un aumento del 20% su una baseline del 5% richiede 8.156 visitatori per variante con confidenza al 95% e potenza all'80%.

• Hai raggiunto il campione previsto. Fermarsi la prima volta che p scende sotto 0,05 fa salire i falsi positivi ben oltre il 5%. Leggi il risultato una sola volta, alla dimensione del campione che hai scelto in anticipo.
• La ripartizione è quella che hai impostato. In un test 50/50, 5.000 contro 4.700 visitatori è una differenza troppo grande per essere casuale (chi-quadrato p ≈ 0,002). Una discrepanza nel rapporto del campione di solito significa che un reindirizzamento, un filtro per i bot o un bug di tracciamento sta perdendo i visitatori di una variante, e i tassi di conversione non sono affidabili.
• Ha coperto settimane intere. I visitatori dei giorni feriali e del fine settimana convertono in modo diverso; un test che termina a metà settimana dà troppo peso ad alcuni giorni.
• Vale la pena avere quell'aumento. Guarda l'estremo inferiore dell'intervallo. Se il guadagno minimo plausibile non ripagherebbe la modifica, un risultato significativo non è un motivo per rilasciarla.
• Non sei andato a cercarlo. Suddividere un test piatto per dispositivo, paese e sorgente finché un segmento non diventa significativo è un modo sicuro per trovare un falso positivo. Testa un segmento solo se l'avevi pianificato.

• Verifica se il test poteva rilevare l'effetto. Se avevi meno visitatori di quanti ne chiede il calcolatore della dimensione del campione, il test aveva una potenza insufficiente e il verdetto onesto è “sconosciuto”, non “nessuna differenza”.
• Leggi l'intervallo. Un intervallo da −0,3 a +2,3 punti esclude una perdita importante ma lascia possibile un guadagno interessante. Può comunque giustificare il rilascio di una modifica a basso rischio, come scelta ragionata più che come risultato del test.
• Non continuare a prolungare il test. Aggiungere traffico finché non diventa significativo è peeking con qualche passaggio in più. Pianifica invece un nuovo test con una modifica più grande o una pagina più frequentata.
• Scopri perché non si è mosso nulla. Guarda le registrazioni delle sessioni dei visitatori di ogni variante e verifica dove il funnel li perde. Una variante che nessuno ha notato è un problema diverso da una che le persone hanno notato e ignorato.