Calculadora de tamanho de amostra para teste A/B

A calculadora usa a fórmula padrão de tamanho de amostra para comparar duas taxas de conversão. Para cada variante:

n = (zα/2 + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

• p₁ é a sua taxa de conversão base, como fração.
• p₂ é a taxa que você quer conseguir detectar: a base aumentada pelo efeito mínimo detectável, então p₂ = p₁ × (1 + MDE).
• z_α/2 vem do nível de confiança, bicaudal: 1,645 a 90%, 1,96 a 95%, 2,576 a 99%.
• z_β vem do poder: 0,842 a 80%, 1,282 a 90%, 1,645 a 95%.

Exemplo resolvido: os valores padrão

Uma base de 5%, um aumento relativo de 10%, 95% de confiança e 80% de poder:

• p₁ = 0,05 e p₂ = 0,05 × 1,10 = 0,055, então a diferença a detectar é 0,005.
• (1,96 + 0,8416)² = 2,8016² ≈ 7,849.
• p₁(1 − p₁) + p₂(1 − p₂) = 0,0475 + 0,051975 = 0,099475.
• n = 7,849 × 0,099475 ÷ 0,005² ≈ 31.231,0, arredondado para cima: 31.232 visitantes por variante.

Duas variantes precisam de 62.464 visitantes no total. É o número que a calculadora mostra antes de você mudar qualquer coisa.

Visitantes necessários por variante com 95% de confiança e 80% de poder. Siga a linha até o aumento relativo que você quer detectar.

Dois padrões se destacam. Cortar pela metade o aumento que você quer detectar quadruplica, aproximadamente, a amostra. E uma etapa de baixa conversão, como uma taxa de compra de 1%, precisa de várias vezes o tráfego de uma etapa de 10%, como um clique para a página de preços.

Transforme o tamanho de amostra em duração antes de lançar o teste:

dias = visitantes por variante × número de variantes ÷ visitantes diários que entram no teste

Depois arredonde para semanas inteiras. Visitantes de dias úteis e de fim de semana se comportam de forma diferente, então um teste que termina no meio da semana dá peso demais a alguns dias.

• Com os valores padrão (62.464 visitantes no total) e 2.000 visitantes elegíveis por dia: 31,2 dias, então rode por 5 semanas.
• Com 5.000 visitantes elegíveis por dia: 12,5 dias, então 2 semanas.
• Com 800 visitantes elegíveis por dia: 78 dias. É sinal de que vale testar uma mudança maior ou uma página mais movimentada (veja abaixo).

Conte só os visitantes que realmente chegam à página ou à etapa testada, não o tráfego total do site. Um teste no checkout só inclui quem chega ao checkout.

Mesmo com muito tráfego, rode por pelo menos uma semana inteira. Defina a data de término com antecedência e não pare antes porque o resultado parece significativo no terceiro dia. Conferir repetidamente e parar na primeira leitura significativa infla a taxa de falsos positivos bem acima do nível de confiança escolhido.

A confiança protege contra falsos positivos: declarar um vencedor quando não há diferença real. A 95%, um teste com duas variantes idênticas mostra um resultado “significativo” em cerca de 5% das vezes.

O poder protege contra falsos negativos: deixar passar um efeito real. Com 80% de poder, se o aumento real for exatamente o seu efeito mínimo detectável, o teste o detecta 8 em cada 10 vezes.

Aumentar qualquer um dos dois custa tráfego. Com uma base de 5% e um aumento de 10%:

Testes unicaudais vs. bicaudais

Aqui o nível de confiança é bicaudal: o teste pode concluir que a variante é melhor ou pior que o controle. Um teste unicaudal a 95% usa z = 1,645, o mesmo valor do bicaudal a 90%, então precisa dos mesmos 24.601 visitantes por variante. Essa economia só é honesta se você trataria “pior” e “sem diferença” da mesma forma. Se uma variante perdedora mudaria o que você faz, mantenha o teste bicaudal.

• Efeito relativo vs. absoluto. Aqui o efeito mínimo detectável é relativo. Levar uma taxa de 5% para 6% é um aumento relativo de 20% (8.156 por variante). Digitar 1 significaria ir de 5% para 5,05%, o que exige cerca de 3 milhões por variante.
• Contar a unidade errada. O tamanho de amostra conta a unidade que você randomiza e que converte. Se você atribui variantes por visitante, conte visitantes, não sessões nem visualizações de página. Sessões repetidas da mesma pessoa não são amostras independentes.
• Mais de duas variantes. O número é por variante, então um teste A/B/C precisa do triplo. Cada comparação extra com o controle também aumenta a chance de um falso vencedor; uma solução comum é dividir a taxa de erro entre as comparações, por exemplo testando cada uma de duas comparações a 97,5% em vez de 95%.
• Tráfego diluído. Se só parte dos visitantes incluídos chega a ver a mudança, o efeito real fica diluído e o teste fica sem poder suficiente. Inclua as pessoas no ponto em que as variantes realmente diferem.
• Mudar o teste no meio. Editar uma variante, mudar a divisão de tráfego ou adicionar uma variante no meio do caminho zera o relógio.

• Teste uma mudança maior. Uma página de preços redesenhada pode, plausivelmente, mexer a conversão em 20–30%; a cor de um botão, não. Efeitos maiores precisam de amostras bem menores.
• Meça uma etapa que converte mais. Teste no clique para o cadastro em vez da conversão paga e depois confirme o efeito seguinte em um período mais longo.
• Aceite 90% de confiança de forma consciente. Isso economiza cerca de um quinto do tráfego em troca de mais falsos positivos. Registre essa troca antes de o teste começar.
• Não faça teste A/B. Em sites pequenos, assistir aos replays de sessão de quem abandona e verificar onde o funil vaza costuma encontrar o problema mais rápido que um teste que não consegue chegar à significância.

Quando o teste tiver rodado pelo tempo completo, confira o resultado com a calculadora de significância de teste A/B.