Outil gratuit

Calculateur de significativité de test A/B

Votre test est terminé — mais la variante a-t-elle vraiment gagné ? Saisissez les visiteurs et les conversions de chaque version pour obtenir la valeur p, l'intervalle de confiance et un verdict en clair. Tout est calculé dans votre navigateur au fur et à mesure.

+20.0%

La variante bat le contrôle — la différence est statistiquement significative.

p = 0.0283 à 95 % de confiance

Taux du contrôle: 5.00%
Taux de la variante: 6.00%
Valeur p: 0.0283
Plage de la différence: +0.1% … +1.9%

Le calcul

Comment la significativité statistique d'un test A/B est calculée

Le calculateur effectue un test z à deux proportions, le test standard pour comparer deux taux de conversion :

Taux de conversion : p₁ = conversions A ÷ visiteurs A et p₂ = conversions B ÷ visiteurs B.
Taux combiné, en supposant pour l'instant que A et B sont identiques : p = (conversions A + conversions B) ÷ (visiteurs A + visiteurs B).
Erreur type de la différence : SE = √[p(1 − p) × (1/n₁ + 1/n₂)].
Statistique de test : z = (p₂ − p₁) ÷ SE. La valeur p est la probabilité d'obtenir un z au moins aussi éloigné de zéro s'il n'y avait pas de vraie différence.

Exemple détaillé : les valeurs par défaut

A : 250 conversions sur 5 000 visiteurs = 5,00 %. B : 300 sur 5 000 = 6,00 %. Soit une hausse relative de 20 %.
Taux combiné : 550 ÷ 10 000 = 0,055.
SE = √(0,055 × 0,945 × (1/5 000 + 1/5 000)) ≈ 0,00456.
z = 0,01 ÷ 0,00456 ≈ 2,19, ce qui donne une valeur p bilatérale de 0,0283.

0,0283 est inférieur à 0,05 : à 95 % de confiance, B est un gagnant significatif. À 99 % de confiance, il ne l'est pas : il faudrait p inférieur à 0,01.

Lire le résultat

Ce que disent la valeur p, la hausse et l'intervalle de confiance

Valeur p. À quel point l'écart serait surprenant si A et B étaient réellement identiques. Elle ne dit rien de la taille de l'effet. Une hausse minuscule et inutile peut avoir une valeur p minuscule avec assez de trafic.
Hausse. La variation relative de A à B : (6,00 % − 5,00 %) ÷ 5,00 % = +20 % dans l'exemple. C'est votre meilleure estimation unique, mais elle est bruitée.
Intervalle de confiance. La plage des différences réelles compatibles avec les données, en points de pourcentage. Pour l'exemple à 95 %, il va d'environ +0,1 à +1,9 point : B est meilleur, mais le gain réel peut aller de presque rien à près du double de ce que vous avez mesuré. Servez-vous-en pour décider si le changement vaut la peine d'être déployé, pas seulement s'il est réel.

Si l'intervalle passe par zéro, le résultat n'est pas significatif à ce niveau de confiance. À 99 %, l'intervalle de l'exemple va de −0,2 à +2,2 points, et c'est précisément pourquoi il échoue à ce niveau.

Taille d'échantillon

Pourquoi une même hausse peut être significative ou non

Le même résultat de 5 % → 6 % (une hausse de 20 %), avec un nombre différent de visiteurs dans chaque variante :

Visiteurs par variante	z	Valeur p (bilatérale)	Intervalle à 95 % (points)
1 000	0,98	0,327	−1,0 à +3,0
2 500	1,55	0,121	−0,3 à +2,3
5 000	2,19	0,028	+0,1 à +1,9
10 000	3,10	0,002	+0,4 à +1,6
20 000	4,39	< 0,0001	+0,6 à +1,4

Un résultat « non significatif » à 1 000 visiteurs ne veut pas dire que B n'a rien changé. Il veut dire que le test était trop petit pour le savoir. Calculez le trafic nécessaire avant le lancement avec le calculateur de taille d'échantillon : une hausse de 20 % sur une base de 5 % demande 8 156 visiteurs par variante à 95 % de confiance et 80 % de puissance.

Avant de déployer

Les vérifications à faire avant de se fier à un résultat significatif

Vous avez atteint l'échantillon prévu. S'arrêter la première fois que p passe sous 0,05 gonfle les faux positifs bien au-delà de 5 %. Lisez le résultat une seule fois, à la taille d'échantillon fixée à l'avance.
La répartition est celle que vous avez fixée. Sur un test 50/50, 5 000 contre 4 700 visiteurs est trop déséquilibré pour être dû au hasard (khi-deux p ≈ 0,002). Un déséquilibre de ratio d'échantillon signifie généralement qu'une redirection, un filtre anti-bots ou un bug de suivi fait perdre des visiteurs à une variante, et les taux de conversion ne sont alors pas fiables.
Il a couvert des semaines entières. Les visiteurs de semaine et de week-end convertissent différemment ; un test qui s'arrête en milieu de semaine surpondère certains jours.
La hausse vaut la peine. Regardez le bas de l'intervalle. Si le plus petit gain plausible ne rentabilise pas le changement, un résultat significatif n'est pas une raison de le déployer.
Vous ne l'avez pas cherché. Découper un test plat par appareil, pays et source jusqu'à ce qu'un segment devienne significatif est un moyen sûr de trouver un faux positif. Ne testez un segment que si vous l'aviez prévu.

Pas de gagnant

Que faire quand le résultat n'est pas significatif

Vérifiez si le test pouvait détecter l'effet. Si vous aviez moins de visiteurs que ce que demande le calculateur de taille d'échantillon, le test manquait de puissance et le verdict honnête est « inconnu », pas « aucune différence ».
Lisez l'intervalle. Un intervalle de −0,3 à +2,3 points exclut une forte perte mais laisse possible un gain intéressant. Cela peut encore justifier de déployer un changement peu risqué, comme une décision de jugement plutôt qu'un résultat de test.
Ne prolongez pas le test indéfiniment. Ajouter du trafic jusqu'à ce qu'il devienne significatif, c'est du « peeking » avec des étapes en plus. Planifiez plutôt un nouveau test avec un changement plus important ou une page plus fréquentée.
Découvrez pourquoi rien n'a bougé. Regardez les replays de session des visiteurs de chaque variante et vérifiez où le tunnel les perd. Une variante que personne n'a remarquée est un autre problème qu'une variante remarquée puis ignorée.

FAQ

À propos de la significativité statistique

Que signifie réellement la significativité statistique ?

Elle indique que l'écart mesuré n'est probablement pas dû au hasard. Une valeur p de 0,03 signifie que si les deux versions étaient réellement identiques, vous observeriez un écart aussi grand environ 3 % du temps. C'est une preuve qu'il s'est passé quelque chose — ni une certitude, ni une mesure de l'ampleur du changement.

Quelle valeur p fait un gagnant ?

La convention est une valeur p inférieure à 0,05, ce qui correspond à 95 % de confiance. Relevez la barre à 99 % quand le changement coûte cher à déployer ou est difficile à annuler, et acceptez 90 % pour de petits ajustements de texte peu risqués, où avoir à peu près raison rapidement vaut mieux qu'avoir tout à fait raison lentement.

Puis-je arrêter le test dès qu'il devient significatif ?

Non. Regarder sans cesse et s'arrêter au premier résultat vert — le « peeking » — gonfle fortement les faux positifs. Déterminez la taille d'échantillon avant de lancer, allez jusqu'au bout, puis lisez le résultat une seule fois. Le calculateur de taille d'échantillon vous donne ce nombre.

Ce calculateur envoie-t-il mes données quelque part ?

Non. Tout le test s'exécute dans votre navigateur en JavaScript simple. Rien de ce que vous saisissez n'est envoyé, journalisé ou stocké, et la page fonctionne hors ligne une fois chargée.

Comment calculer la significativité statistique d'un test A/B ?

Utilisez un test z à deux proportions. Calculez chaque taux de conversion, le taux combiné des deux variantes et l'erreur type √[p(1 − p)(1/n₁ + 1/n₂)]. Divisez l'écart entre les taux par l'erreur type pour obtenir z, puis convertissez z en valeur p. 250/5 000 contre 300/5 000 donne z ≈ 2,19 et une valeur p bilatérale de 0,028, significative à 95 %.

Qu'est-ce qu'une valeur p dans un test A/B ?

La probabilité d'observer une différence au moins aussi grande que celle mesurée si les deux versions avaient en réalité les mêmes performances. Une valeur p de 0,03 signifie qu'un écart de cette taille apparaîtrait environ 3 % du temps par le seul hasard. Ce n'est pas la probabilité que B soit meilleur, et elle ne mesure pas la taille de l'effet.

Pourquoi mon test n'est-il pas significatif alors que B a mieux converti ?

Généralement parce que l'échantillon est trop petit pour la taille de l'écart. Un résultat de 5 % → 6 % n'est pas significatif avec 2 500 visiteurs par variante (p = 0,12), mais l'est avec 5 000 (p = 0,028). Vérifiez la taille d'échantillon prévue avant de lire un résultat plat comme « aucun effet ».

Faut-il utiliser un test unilatéral ou bilatéral ?

Bilatéral, sauf si vous avez décidé avant le test qu'une perte et une absence de changement mèneraient à la même décision. L'unilatéral divise la valeur p par deux quand B est en tête (0,028 devient 0,014 dans l'exemple par défaut), c'est pourquoi y passer après avoir vu les données n'est pas légitime.

Puis-je utiliser ce calculateur pour plus de deux variantes ?

Oui, en comparant chaque variante au contrôle séparément. Chaque comparaison supplémentaire augmente le risque d'un faux gagnant : utilisez un seuil plus strict par comparaison. Pour deux variantes face au contrôle, testez chacune à 97,5 % de confiance au lieu de 95 %.

Associé

Plus de PulsePanda

Comprenez pourquoi le gagnant a gagné

Une valeur p vous dit que quelque chose a changé. Le replay de session, les heatmaps et les tunnels de PulsePanda vous disent ce que les gens ont réellement fait.

Commencer gratuitement