Calculadora de significancia de test A/B

La calculadora ejecuta una prueba z de dos proporciones, la prueba estándar para comparar dos tasas de conversión:

• Tasas de conversión: p₁ = conversiones A ÷ visitantes A y p₂ = conversiones B ÷ visitantes B.
• Tasa combinada, suponiendo por ahora que A y B son iguales: p = (conversiones A + conversiones B) ÷ (visitantes A + visitantes B).
• Error estándar de la diferencia: SE = √[p(1 − p) × (1/n₁ + 1/n₂)].
• Estadístico de prueba: z = (p₂ − p₁) ÷ SE. El valor p es la probabilidad de obtener un z al menos así de alejado de cero si no hubiera una diferencia real.

Ejemplo resuelto: los valores por defecto

• A: 250 conversiones de 5.000 visitantes = 5,00 %. B: 300 de 5.000 = 6,00 %. Es una mejora relativa del 20 %.
• Tasa combinada: 550 ÷ 10.000 = 0,055.
• SE = √(0,055 × 0,945 × (1/5.000 + 1/5.000)) ≈ 0,00456.
• z = 0,01 ÷ 0,00456 ≈ 2,19, lo que da un valor p bilateral de 0,0283.

0,0283 es menor que 0,05, así que con un 95 % de confianza B es un ganador significativo. Con un 99 % de confianza no lo es: para eso p tendría que ser menor que 0,01.

• Valor p. Lo sorprendente que sería la diferencia si A y B fueran realmente idénticos. No dice nada del tamaño del efecto. Una mejora diminuta e inútil puede tener un valor p diminuto con suficiente tráfico.
• Mejora. El cambio relativo de A a B: (6,00 % − 5,00 %) ÷ 5,00 % = +20 % en el ejemplo. Es tu mejor estimación individual, pero tiene ruido.
• Intervalo de confianza. El rango de diferencias reales compatibles con los datos, en puntos porcentuales. En el ejemplo al 95 % va de aproximadamente +0,1 a +1,9 puntos: B es mejor, pero la ganancia real podría estar entre casi nada y casi el doble de lo que mediste. Úsalo para decidir si el cambio merece la pena, no solo si es real.

Si el intervalo cruza el cero, el resultado no es significativo a ese nivel de confianza. Al 99 %, el intervalo del ejemplo va de −0,2 a +2,2 puntos, y justo por eso no pasa a ese nivel.

El mismo resultado de 5 % → 6 % (una mejora del 20 %), con distinto número de visitantes en cada variante:

Un resultado «no significativo» con 1.000 visitantes no significa que B no cambiara nada. Significa que el test era demasiado pequeño para saberlo. Calcula el tráfico que necesitas antes de lanzarlo con la calculadora de tamaño de muestra: una mejora del 20 % sobre una base del 5 % necesita 8.156 visitantes por variante con 95 % de confianza y 80 % de potencia.

• Llegaste a la muestra prevista. Parar la primera vez que p baja de 0,05 infla los falsos positivos muy por encima del 5 %. Lee el resultado una sola vez, con el tamaño de muestra que elegiste de antemano.
• El reparto es el que configuraste. En un test 50/50, 5.000 frente a 4.700 visitantes es demasiado desigual para ser casualidad (chi-cuadrado p ≈ 0,002). Un desajuste en la proporción de la muestra suele indicar que una redirección, un filtro de bots o un fallo de seguimiento está perdiendo visitantes de una variante, y las tasas de conversión no son fiables.
• Duró semanas completas. Los visitantes de entre semana y de fin de semana convierten de forma distinta; un test que termina a mitad de semana da más peso a algunos días.
• La mejora merece la pena. Mira el extremo inferior del intervalo. Si la ganancia más pequeña plausible no compensa el cambio, un resultado significativo no es motivo para publicarlo.
• No fuiste a buscarlo. Trocear un test plano por dispositivo, país y fuente hasta que un segmento sale significativo es una forma segura de encontrar un falso positivo. Prueba un segmento solo si lo habías planeado.

• Comprueba si el test podía detectar el efecto. Si tuviste menos visitantes de los que pide la calculadora de tamaño de muestra, el test no tenía potencia suficiente y el veredicto honesto es «desconocido», no «sin diferencia».
• Lee el intervalo. Un intervalo de −0,3 a +2,3 puntos descarta una gran pérdida pero deja abierta una ganancia que merece la pena. Eso todavía puede justificar publicar un cambio de bajo riesgo, como decisión de criterio y no como resultado del test.
• No sigas alargando el test. Añadir tráfico hasta que salga significativo es mirar a escondidas con pasos extra. Planifica en su lugar un test nuevo con un cambio mayor o una página con más tráfico.
• Averigua por qué no se movió nada. Mira repeticiones de sesión de visitantes de cada variante y comprueba dónde los pierde el embudo. Una variante que nadie notó es un problema distinto de una que la gente notó e ignoró.