Ferramenta gratuita

Calculadora de significância de teste A/B

Seu teste terminou — mas a variante realmente venceu? Informe os visitantes e as conversões de cada versão e veja o valor p, o intervalo de confiança e um veredito em linguagem simples. Tudo é calculado no seu navegador enquanto você digita.

+20.0%

A variante supera o controle — a diferença é estatisticamente significativa.

p = 0.0283 com 95% de confiança

Taxa do controle
5.00%
Taxa da variante
6.00%
Valor p
0.0283
Faixa da diferença
+0.1% … +1.9%

Perguntas frequentes

Sobre significância estatística

O que significa de fato significância estatística?

Significa que a diferença medida dificilmente é obra do acaso. Um valor p de 0,03 diz que, se as duas versões fossem realmente idênticas, você veria uma diferença desse tamanho (ou maior) em cerca de 3% das vezes. É evidência de que algo mudou — não uma prova, nem uma medida do tamanho da mudança.

Qual valor p conta como vitória?

A convenção é um valor p abaixo de 0,05, que corresponde a 95% de confiança. Suba a régua para 99% quando a mudança for cara de lançar ou difícil de reverter, e aceite 90% em ajustes de texto de baixo risco, em que acertar aproximadamente e rápido vale mais do que acertar por completo devagar.

Posso parar o teste assim que ele ficar significativo?

Não. Olhar repetidamente e parar no primeiro resultado verde — o chamado peeking — infla muito os falsos positivos. Defina o tamanho da amostra antes de lançar, vá até ele e então leia o resultado uma única vez. A calculadora de tamanho de amostra dá esse número.

Esta calculadora envia meus dados para algum lugar?

Não. Todo o teste roda no seu navegador com JavaScript simples. Nada do que você digita é enviado, registrado ou armazenado, e a página funciona offline depois de carregada.

Relacionado

Mais do PulsePanda

Veja por que o vencedor venceu

Um valor p diz que algo mudou. A repetição de sessões, os mapas de calor e os funis do PulsePanda dizem o que as pessoas realmente fizeram.

Comece grátis