Ferramenta gratuita
Seu teste terminou — mas a variante realmente venceu? Informe os visitantes e as conversões de cada versão e veja o valor p, o intervalo de confiança e um veredito em linguagem simples. Tudo é calculado no seu navegador enquanto você digita.
A variante supera o controle — a diferença é estatisticamente significativa.
p = 0.0283 com 95% de confiança
A matemática
A calculadora executa um teste z de duas proporções, o teste padrão para comparar duas taxas de conversão:
p₁ = conversões A ÷ visitantes A e p₂ = conversões B ÷ visitantes B.p = (conversões A + conversões B) ÷ (visitantes A + visitantes B).SE = √[p(1 − p) × (1/n₁ + 1/n₂)].z = (p₂ − p₁) ÷ SE. O valor p é a chance de um z pelo menos tão distante de zero se não houvesse diferença real.0,0283 é menor que 0,05, então com 95% de confiança B é um vencedor significativo. Com 99% de confiança não é: para isso, p teria de ficar abaixo de 0,01.
Como ler o resultado
Se o intervalo cruza o zero, o resultado não é significativo naquele nível de confiança. A 99%, o intervalo do exemplo vai de −0,2 a +2,2 pontos, e é exatamente por isso que ele falha ali.
Tamanho de amostra
O mesmo resultado de 5% → 6% (um aumento de 20%), com números diferentes de visitantes em cada variante:
| Visitantes por variante | z | Valor p (bicaudal) | Intervalo de 95% (pontos) |
|---|---|---|---|
| 1.000 | 0,98 | 0,327 | −1,0 a +3,0 |
| 2.500 | 1,55 | 0,121 | −0,3 a +2,3 |
| 5.000 | 2,19 | 0,028 | +0,1 a +1,9 |
| 10.000 | 3,10 | 0,002 | +0,4 a +1,6 |
| 20.000 | 4,39 | < 0,0001 | +0,6 a +1,4 |
Um resultado “não significativo” com 1.000 visitantes não quer dizer que B não fez diferença. Quer dizer que o teste era pequeno demais para saber. Calcule o tráfego necessário antes de lançar com a calculadora de tamanho de amostra: um aumento de 20% sobre uma base de 5% precisa de 8.156 visitantes por variante com 95% de confiança e 80% de poder.
Antes de lançar
Sem vencedor
Perguntas frequentes
Significa que a diferença medida dificilmente é obra do acaso. Um valor p de 0,03 diz que, se as duas versões fossem realmente idênticas, você veria uma diferença desse tamanho (ou maior) em cerca de 3% das vezes. É evidência de que algo mudou — não uma prova, nem uma medida do tamanho da mudança.
A convenção é um valor p abaixo de 0,05, que corresponde a 95% de confiança. Suba a régua para 99% quando a mudança for cara de lançar ou difícil de reverter, e aceite 90% em ajustes de texto de baixo risco, em que acertar aproximadamente e rápido vale mais do que acertar por completo devagar.
Não. Olhar repetidamente e parar no primeiro resultado verde — o chamado peeking — infla muito os falsos positivos. Defina o tamanho da amostra antes de lançar, vá até ele e então leia o resultado uma única vez. A calculadora de tamanho de amostra dá esse número.
Não. Todo o teste roda no seu navegador com JavaScript simples. Nada do que você digita é enviado, registrado ou armazenado, e a página funciona offline depois de carregada.
Use um teste z de duas proporções. Calcule cada taxa de conversão, a taxa combinada das duas variantes e o erro padrão √[p(1 − p)(1/n₁ + 1/n₂)]. Divida a diferença entre as taxas pelo erro padrão para obter z e converta z em um valor p. 250/5.000 contra 300/5.000 dá z ≈ 2,19 e um valor p bicaudal de 0,028, significativo a 95%.
A probabilidade de ver uma diferença pelo menos tão grande quanto a que você mediu se as duas versões tivessem, na verdade, o mesmo desempenho. Um valor p de 0,03 significa que uma diferença desse tamanho apareceria em cerca de 3% das vezes só por acaso. Não é a probabilidade de B ser melhor, e não mede o tamanho do efeito.
Geralmente porque a amostra é pequena demais para o tamanho da diferença. Um resultado de 5% → 6% não é significativo com 2.500 visitantes por variante (p = 0,12), mas é com 5.000 (p = 0,028). Confira o tamanho de amostra planejado antes de ler um resultado empatado como “sem efeito”.
Bicaudal, a menos que você tenha decidido antes do teste que uma perda e nenhuma mudança levariam à mesma decisão. O unicaudal corta o valor p pela metade quando B está na frente (0,028 vira 0,014 no exemplo padrão), e é por isso que trocar para ele depois de ver os dados não é legítimo.
Sim, comparando cada variante com o controle separadamente. Cada comparação extra aumenta a chance de um falso vencedor, então use um limite mais rigoroso por comparação: para duas variantes contra o controle, teste cada uma a 97,5% de confiança em vez de 95%.
Relacionado
Um valor p diz que algo mudou. A repetição de sessões, os mapas de calor e os funis do PulsePanda dizem o que as pessoas realmente fizeram.
Comece grátis