Calculadora de tamaño de muestra para prueba A/B

La calculadora usa la fórmula estándar de tamaño de muestra para comparar dos tasas de conversión. Para cada variante:

n = (zα/2 + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

• p₁ es tu tasa de conversión base, como fracción.
• p₂ es la tasa que quieres poder detectar: la base aumentada en el efecto mínimo detectable, así que p₂ = p₁ × (1 + MDE).
• z_α/2 sale del nivel de confianza, bilateral: 1,645 al 90 %, 1,96 al 95 %, 2,576 al 99 %.
• z_β sale de la potencia: 0,842 al 80 %, 1,282 al 90 %, 1,645 al 95 %.

Ejemplo resuelto: los valores por defecto

Una base del 5 %, una mejora relativa del 10 %, 95 % de confianza y 80 % de potencia:

• p₁ = 0,05 y p₂ = 0,05 × 1,10 = 0,055, así que la diferencia a detectar es 0,005.
• (1,96 + 0,8416)² = 2,8016² ≈ 7,849.
• p₁(1 − p₁) + p₂(1 − p₂) = 0,0475 + 0,051975 = 0,099475.
• n = 7,849 × 0,099475 ÷ 0,005² ≈ 31.231,0, redondeado hacia arriba a 31.232 visitantes por variante.

Dos variantes necesitan 62.464 visitantes en total. Es la cifra que muestra la calculadora antes de que cambies nada.

Visitantes necesarios por variante con 95 % de confianza y 80 % de potencia. Lee la fila hasta la mejora relativa que quieres detectar.

Destacan dos patrones. Reducir a la mitad la mejora que quieres detectar multiplica aproximadamente por cuatro la muestra. Y un paso con poca conversión, como una tasa de compra del 1 %, necesita varias veces el tráfico de un paso del 10 %, como un clic hacia la página de precios.

Convierte el tamaño de muestra en una duración antes de lanzar el test:

días = visitantes por variante × número de variantes ÷ visitantes diarios que entran en el test

Después redondea a semanas completas. Los visitantes de entre semana y de fin de semana se comportan de forma distinta, así que un test que termina a mitad de semana da más peso a algunos días.

• Con los valores por defecto (62.464 visitantes en total) y 2.000 visitantes elegibles al día: 31,2 días, así que ejecútalo durante 5 semanas.
• Con 5.000 visitantes elegibles al día: 12,5 días, así que 2 semanas.
• Con 800 visitantes elegibles al día: 78 días. Es una señal para probar un cambio mayor o una página con más tráfico (ver más abajo).

Cuenta solo los visitantes que llegan de verdad a la página o al paso que se prueba, no el tráfico total del sitio. Un test del checkout solo incluye a quienes llegan al checkout.

Aunque tengas mucho tráfico, ejecútalo al menos una semana completa. Decide la fecha de fin de antemano y no pares antes porque el resultado parezca significativo el tercer día. Mirar una y otra vez y parar en la primera lectura significativa infla la tasa de falsos positivos muy por encima del nivel de confianza que elegiste.

La confianza protege frente a los falsos positivos: declarar un ganador cuando no hay una diferencia real. Al 95 %, un test de dos variantes idénticas muestra un resultado «significativo» alrededor del 5 % de las veces.

La potencia protege frente a los falsos negativos: pasar por alto un efecto real. Con un 80 % de potencia, si la mejora real es exactamente tu efecto mínimo detectable, el test la detecta 8 de cada 10 veces.

Subir cualquiera de las dos cuesta tráfico. Con una base del 5 % y una mejora del 10 %:

Tests unilaterales frente a bilaterales

Aquí el nivel de confianza es bilateral: el test puede encontrar la variante mejor o peor que el control. Un test unilateral al 95 % usa z = 1,645, el mismo valor que uno bilateral al 90 %, así que necesita los mismos 24.601 visitantes por variante. Ese ahorro solo es honesto si tratarías «peor» y «sin diferencia» de la misma forma. Si una variante perdedora cambiaría lo que haces, mantén el test bilateral.

• Efecto relativo frente a absoluto. Aquí el efecto mínimo detectable es relativo. Pasar una tasa del 5 % al 6 % es una mejora relativa del 20 % (8.156 por variante). Introducir 1 significaría pasar del 5 % al 5,05 %, lo que necesita unos 3 millones por variante.
• Contar la unidad equivocada. El tamaño de muestra cuenta la unidad que aleatorizas y que convierte. Si asignas variantes por visitante, cuenta visitantes, no sesiones ni páginas vistas. Las sesiones repetidas de una misma persona no son muestras independientes.
• Más de dos variantes. La cifra es por variante, así que un test A/B/C necesita el triple. Cada comparación adicional con el control también aumenta la probabilidad de un falso ganador; una solución habitual es repartir la tasa de error entre las comparaciones, por ejemplo probando cada una de dos comparaciones al 97,5 % en lugar del 95 %.
• Tráfico diluido. Si solo una parte de los visitantes incluidos llega a ver el cambio, el efecto real se diluye y el test queda sin potencia suficiente. Incluye a la gente en el punto donde las variantes realmente difieren.
• Cambiar el test a mitad. Editar una variante, cambiar el reparto del tráfico o añadir una variante a mitad de camino reinicia el reloj.

• Prueba un cambio mayor. Una página de precios rediseñada puede mover la conversión un 20–30 %; el color de un botón, no. Los efectos más grandes necesitan muestras mucho más pequeñas.
• Mide un paso con más conversión. Prueba sobre el clic hacia el registro en lugar de sobre la conversión de pago y luego confirma el efecto posterior en un periodo más largo.
• Acepta el 90 % de confianza a sabiendas. Ahorra alrededor de una quinta parte del tráfico a cambio de más falsos positivos. Deja por escrito esa concesión antes de que empiece el test.
• No hagas un test A/B. En sitios pequeños, ver las repeticiones de sesión de quienes abandonan y comprobar dónde pierde el embudo suele encontrar el problema antes que un test que no puede llegar a ser significativo.

Cuando el test haya durado todo lo previsto, comprueba el resultado con la calculadora de significancia de tests A/B.