Outil gratuit

Calculateur de significativité de test A/B

Votre test est terminé — mais la variante a-t-elle vraiment gagné ? Saisissez les visiteurs et les conversions de chaque version pour obtenir la valeur p, l'intervalle de confiance et un verdict en clair. Tout est calculé dans votre navigateur au fur et à mesure.

+20.0%

La variante bat le contrôle — la différence est statistiquement significative.

p = 0.0283 à 95 % de confiance

Taux du contrôle
5.00%
Taux de la variante
6.00%
Valeur p
0.0283
Plage de la différence
+0.1% … +1.9%

FAQ

À propos de la significativité statistique

Que signifie réellement la significativité statistique ?

Elle indique que l'écart mesuré n'est probablement pas dû au hasard. Une valeur p de 0,03 signifie que si les deux versions étaient réellement identiques, vous observeriez un écart aussi grand environ 3 % du temps. C'est une preuve qu'il s'est passé quelque chose — ni une certitude, ni une mesure de l'ampleur du changement.

Quelle valeur p fait un gagnant ?

La convention est une valeur p inférieure à 0,05, ce qui correspond à 95 % de confiance. Relevez la barre à 99 % quand le changement coûte cher à déployer ou est difficile à annuler, et acceptez 90 % pour de petits ajustements de texte peu risqués, où avoir à peu près raison rapidement vaut mieux qu'avoir tout à fait raison lentement.

Puis-je arrêter le test dès qu'il devient significatif ?

Non. Regarder sans cesse et s'arrêter au premier résultat vert — le « peeking » — gonfle fortement les faux positifs. Déterminez la taille d'échantillon avant de lancer, allez jusqu'au bout, puis lisez le résultat une seule fois. Le calculateur de taille d'échantillon vous donne ce nombre.

Ce calculateur envoie-t-il mes données quelque part ?

Non. Tout le test s'exécute dans votre navigateur en JavaScript simple. Rien de ce que vous saisissez n'est envoyé, journalisé ou stocké, et la page fonctionne hors ligne une fois chargée.

Associé

Plus de PulsePanda

Comprenez pourquoi le gagnant a gagné

Une valeur p vous dit que quelque chose a changé. Le replay de session, les heatmaps et les tunnels de PulsePanda vous disent ce que les gens ont réellement fait.

Commencer gratuitement