Calculateur de taille d'échantillon pour test A/B

Le calculateur utilise la formule standard de taille d'échantillon pour comparer deux taux de conversion. Pour chaque variante :

n = (zα/2 + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

• p₁ est votre taux de conversion de base, en fraction.
• p₂ est le taux que vous voulez pouvoir détecter : la base augmentée de l'effet minimal détectable, donc p₂ = p₁ × (1 + MDE).
• z_α/2 vient du niveau de confiance, bilatéral : 1,645 à 90 %, 1,96 à 95 %, 2,576 à 99 %.
• z_β vient de la puissance : 0,842 à 80 %, 1,282 à 90 %, 1,645 à 95 %.

Exemple détaillé : les valeurs par défaut

Une base de 5 %, une hausse relative de 10 %, 95 % de confiance et 80 % de puissance :

• p₁ = 0,05 et p₂ = 0,05 × 1,10 = 0,055 : l'écart à détecter est donc de 0,005.
• (1,96 + 0,8416)² = 2,8016² ≈ 7,849.
• p₁(1 − p₁) + p₂(1 − p₂) = 0,0475 + 0,051975 = 0,099475.
• n = 7,849 × 0,099475 ÷ 0,005² ≈ 31 231,0, arrondi à 31 232 visiteurs par variante.

Deux variantes nécessitent 62 464 visiteurs au total. C'est le chiffre qu'affiche le calculateur avant toute modification.

Visiteurs nécessaires par variante à 95 % de confiance et 80 % de puissance. Lisez la ligne jusqu'à la hausse relative que vous voulez détecter.

Deux tendances ressortent. Diviser par deux la hausse à détecter multiplie à peu près par quatre l'échantillon. Et une étape qui convertit peu, comme un taux d'achat de 1 %, demande plusieurs fois le trafic d'une étape à 10 %, comme un clic vers la page tarifs.

Convertissez la taille d'échantillon en durée avant de lancer le test :

jours = visiteurs par variante × nombre de variantes ÷ visiteurs quotidiens qui entrent dans le test

Arrondissez ensuite à des semaines entières. Les visiteurs de semaine et de week-end ne se comportent pas de la même façon : un test qui s'arrête en milieu de semaine surpondère certains jours.

• Avec les valeurs par défaut (62 464 visiteurs au total) et 2 000 visiteurs éligibles par jour : 31,2 jours, donc un test de 5 semaines.
• Avec 5 000 visiteurs éligibles par jour : 12,5 jours, donc 2 semaines.
• Avec 800 visiteurs éligibles par jour : 78 jours. C'est le signe qu'il faut tester un changement plus important ou une page plus fréquentée (voir plus bas).

Ne comptez que les visiteurs qui atteignent réellement la page ou l'étape testée, pas le trafic total du site. Un test sur le checkout n'inclut que les personnes qui arrivent au checkout.

Même avec beaucoup de trafic, faites tourner le test au moins une semaine complète. Fixez la date de fin à l'avance et n'arrêtez pas plus tôt parce que le résultat paraît significatif au troisième jour. Vérifier à répétition et s'arrêter à la première lecture significative gonfle le taux de faux positifs bien au-delà du niveau de confiance choisi.

La confiance protège contre les faux positifs : désigner un gagnant alors qu'il n'y a pas de vraie différence. À 95 %, un test entre deux variantes identiques donne un résultat « significatif » environ 5 % du temps.

La puissance protège contre les faux négatifs : passer à côté d'un effet réel. À 80 % de puissance, si la vraie hausse est exactement votre effet minimal détectable, le test la détecte 8 fois sur 10.

Augmenter l'une ou l'autre coûte du trafic. Avec une base de 5 % et une hausse de 10 % :

Test unilatéral ou bilatéral

Le niveau de confiance est ici bilatéral : le test peut trouver la variante meilleure ou moins bonne que le contrôle. Un test unilatéral à 95 % utilise z = 1,645, la même valeur qu'un bilatéral à 90 %, et demande donc les mêmes 24 601 visiteurs par variante. Cette économie n'est honnête que si vous traiteriez « moins bon » et « pas différent » de la même façon. Si une variante perdante changeait ce que vous faites, gardez le test bilatéral.

• Effet relatif ou absolu. L'effet minimal détectable est ici relatif. Faire passer un taux de 5 % à 6 %, c'est une hausse relative de 20 % (8 156 par variante). Saisir 1 signifierait passer de 5 % à 5,05 %, ce qui demande environ 3 millions par variante.
• Compter la mauvaise unité. La taille d'échantillon compte l'unité que vous randomisez et qui convertit. Si vous attribuez les variantes par visiteur, comptez des visiteurs, pas des sessions ni des pages vues. Les sessions répétées d'une même personne ne sont pas des échantillons indépendants.
• Plus de deux variantes. Le chiffre est par variante : un test A/B/C en demande trois fois plus. Chaque comparaison supplémentaire avec le contrôle augmente aussi le risque d'un faux gagnant ; une solution courante consiste à répartir le taux d'erreur entre les comparaisons, par exemple tester chacune de deux comparaisons à 97,5 % au lieu de 95 %.
• Trafic dilué. Si seule une partie des visiteurs inclus voit réellement le changement, l'effet réel est dilué et le test manque de puissance. Incluez les gens à l'endroit où les variantes diffèrent vraiment.
• Modifier le test en cours de route. Modifier une variante, changer la répartition du trafic ou ajouter une variante à mi-parcours remet le compteur à zéro.

• Testez un changement plus important. Une page tarifs repensée peut plausiblement faire bouger la conversion de 20 à 30 % ; une couleur de bouton, non. Les effets plus grands demandent des échantillons bien plus petits.
• Mesurez une étape qui convertit davantage. Testez sur le clic vers l'inscription plutôt que sur la conversion payante, puis confirmez l'effet en aval sur une période plus longue.
• Acceptez 90 % de confiance en connaissance de cause. Cela économise environ un cinquième du trafic en échange de davantage de faux positifs. Notez ce compromis avant le début du test.
• Ne faites pas de test A/B du tout. Pour les petits sites, regarder les replays de session des personnes qui abandonnent et vérifier où le tunnel fuit trouve généralement le problème plus vite qu'un test qui ne peut pas atteindre la significativité.

Une fois le test mené jusqu'au bout, vérifiez le résultat avec le calculateur de significativité de test A/B.