ベースラインが低いほど必要な流入は増える
コンバージョンが希少であるほど、本当の変化をノイズから切り分けるのに必要な訪問者数は増えます。おおよそ、ベースラインのコンバージョン率が半分になると、各バリアントに必要な流入は倍になります。
無料ツール
A/Bテスト サンプルサイズ計算ツール
実験を開始する前に、結果が実際に信頼できるように各バリアントに必要な訪問者数を調べましょう。数値を入力すると計算機がすぐに更新されます。すべてブラウザ内で動作します。
31,232
バリアントごとに必要な訪問者数
2つのバリアントで合計62,464人の訪問者
数字を左右する要因
必要サンプル数がこれほど大きく動く理由
最大のレバーは検出したい効果量
最小検出可能効果は式のなかで二乗で効くため、他のどの要素よりも支配的です。10%ではなく5%の改善を検出しようとすると、必要な流入はおよそ4倍になります。どれくらいの差なら実際に意思決定が変わるのかを決めて、その水準で検証してください。
開始前に期間を決める
上の数字を丸ごと何週間分の流入に換算し、その期間は走らせきってください。有意になった瞬間に止めることこそ、後で再現しない変更をチームが出してしまう最も一般的な原因です。
計算式
A/B テストのサンプルサイズの計算方法（ステップごと）
この計算ツールは、2 つのコンバージョン率を比較するための標準的なサンプルサイズの式を使います。バリアントごとに：
n = (zα/2 + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²
- p₁ はベースラインのコンバージョン率（小数）です。
- p₂ は検出したい率で、ベースラインを最小検出可能効果の分だけ引き上げた値です。つまり
p₂ = p₁ × (1 + MDE)です。 - zα/2 は信頼水準（両側）から決まります：90% で 1.645、95% で 1.96、99% で 2.576。
- zβ は検出力から決まります：80% で 0.842、90% で 1.282、95% で 1.645。
計算例：デフォルトの入力値
ベースライン 5%、相対リフト 10%、信頼度 95%、検出力 80% の場合：
- p₁ = 0.05、p₂ = 0.05 × 1.10 = 0.055 なので、検出すべき差は 0.005 です。
- (1.96 + 0.8416)² = 2.8016² ≈ 7.849。
- p₁(1 − p₁) + p₂(1 − p₂) = 0.0475 + 0.051975 = 0.099475。
- n = 7.849 × 0.099475 ÷ 0.005² ≈ 31,231.0、切り上げてバリアントあたり 31,232 人の訪問者です。
バリアントが 2 つなら合計 62,464 人の訪問者が必要です。何も変更していないときに計算ツールが表示するのがこの数字です。
概要
よくあるベースラインでのバリアントあたりのサンプルサイズ
信頼度 95%、検出力 80% で、バリアントごとに必要な訪問者数です。検出したい相対リフトの列まで横に読んでください。
| ベースライン率 | 5% リフト | 10% リフト | 20% リフト | 30% リフト |
|---|---|---|---|---|
| 1% | 637,014 | 163,094 | 42,691 | 19,824 |
| 2% | 315,207 | 80,680 | 21,106 | 9,795 |
| 5% | 122,123 | 31,232 | 8,156 | 3,778 |
| 10% | 57,761 | 14,749 | 3,839 | 1,772 |
| 20% | 25,580 | 6,507 | 1,680 | 769 |
2 つの傾向が目立ちます。検出したいリフトを半分にすると、サンプルはおよそ 4 倍になります。そして購入率 1% のようにコンバージョンの低いステップは、料金ページへのクリック率 10% のようなステップに比べて何倍ものトラフィックを必要とします。
テスト期間
A/B テストはどのくらいの期間実施すべきですか？
開始する前に、サンプルサイズを期間に換算します。
日数 = バリアントあたりの訪問者数 × バリアント数 ÷ テストに入る 1 日あたりの訪問者数
そのうえで週単位に切り上げます。平日と週末では訪問者の行動が違うため、週の途中で終わるテストは一部の曜日に偏ります。
- デフォルト（合計 62,464 人）で、対象となる訪問者が 1 日 2,000 人の場合：31.2 日なので、5 週間実施します。
- 対象となる訪問者が 1 日 5,000 人の場合：12.5 日なので、2 週間です。
- 対象となる訪問者が 1 日 800 人の場合：78 日。より大きな変更か、より訪問の多いページをテストすべきサインです（下記参照）。
数えるのは、テスト対象のページやステップに実際に到達した訪問者だけで、サイト全体のトラフィックではありません。チェックアウトのテストに含まれるのは、チェックアウトに到達した人だけです。
トラフィックが多くても、最低 1 週間はまるごと実施してください。終了日は事前に決め、3 日目に有意に見えたからといって早めに止めないでください。何度も確認して最初に有意になった時点で止めると、偽陽性率は選んだ信頼水準をはるかに超えて膨らみます。
信頼度と検出力
信頼水準と統計的検出力が数字に与える影響
信頼度は偽陽性、つまり本当の差がないのに勝者を宣言することを防ぎます。95% の場合、まったく同じ 2 つのバリアントのテストでも、約 5% の確率で「有意」な結果が出ます。
検出力は偽陰性、つまり実在する効果を見逃すことを防ぎます。検出力 80% では、本当のリフトがちょうど最小検出可能効果と等しいとき、テストは 10 回中 8 回それを検出します。
どちらを上げてもトラフィックが必要になります。ベースライン 5%、リフト 10% の場合：
| 信頼度 | 検出力 | バリアントあたり | デフォルト比 |
|---|---|---|---|
| 90% | 80% | 24,601 | −21% |
| 95% | 80% | 31,232 | デフォルト |
| 95% | 90% | 41,812 | +34% |
| 99% | 80% | 46,470 | +49% |
片側検定と両側検定
ここでの信頼水準は両側です。テストは、バリアントがコントロールより良い場合も悪い場合も検出できます。95% の片側検定は z = 1.645 を使い、これは 90% の両側検定と同じ値なので、必要な訪問者数もバリアントあたり同じ 24,601 人です。この節約が正当なのは、「悪い」と「差がない」を同じように扱う場合だけです。負けたバリアントによって行動が変わるなら、両側検定のままにしてください。
よくある間違い
サンプルサイズを狂わせる間違い
- 相対効果と絶対効果。ここでの最小検出可能効果は相対値です。5% の率を 6% にするのは 20% の相対リフトです（バリアントあたり 8,156）。1 と入力すると 5% から 5.05% への変化という意味になり、バリアントあたり約 300 万が必要になります。
- 数える単位の間違い。サンプルサイズが数えるのは、ランダムに割り当てられ、コンバージョンする単位です。訪問者ごとにバリアントを割り当てるなら、セッションやページビューではなく訪問者を数えてください。同じ人の繰り返しのセッションは独立したサンプルではありません。
- 3 つ以上のバリアント。数字はバリアントあたりなので、A/B/C テストにはその 3 倍が必要です。コントロールとの比較が増えるたびに偽の勝者が出る確率も上がります。よくある対処は誤り率を比較間で分けることで、たとえば 2 つの比較をそれぞれ 95% ではなく 97.5% で検定します。
- 薄まったトラフィック。テストに含めた訪問者の一部しか変更を目にしないと、本当の効果が薄まり、テストの検出力が不足します。バリアントが実際に異なる地点で人を割り当ててください。
- 途中でテストを変える。途中でバリアントを編集したり、トラフィックの配分を変えたり、バリアントを追加したりすると、時計はゼロに戻ります。
トラフィックが少ない場合
必要なサンプルサイズがトラフィックを上回るときにすること
- より大きな変更をテストする。料金ページを作り直せばコンバージョンが 20〜30% 動くことは十分ありえますが、ボタンの色ではそうはいきません。効果が大きいほど、必要なサンプルははるかに小さくなります。
- コンバージョンの高いステップを測る。有料コンバージョンではなく登録へのクリックでテストし、その後の効果はより長い期間で確認します。
- 信頼度 90% を納得したうえで受け入れる。偽陽性が増える代わりに、トラフィックを約 5 分の 1 節約できます。テストを始める前に、このトレードオフを書き留めておいてください。
- A/B テストをしない。小規模なサイトでは、離脱した人のセッションリプレイを見て、ファネルのどこで漏れているかを確認するほうが、有意に届かないテストよりも早く問題を見つけられることがほとんどです。
テストを予定どおりの期間実施したら、A/B テスト有意差計算ツールで結果を確認してください。
よくある質問
サンプルサイズについて
A/Bテストのサンプルサイズはどのように計算されますか？
このツールは、ベースラインコンバージョン率、最小検出可能効果、選択した信頼水準、統計的検定力に基づく標準的な2比率公式を使用して、バリアントごとに必要な訪問者数を推定します。
最小検出可能効果とは何ですか？
最小検出可能効果とは、テストが確実に検出できるようにしたいコンバージョン率の最小相対変化です。小さな効果にはより大きなサンプルが必要です。
なぜテストにこれほど多くの訪問者が必要なのですか？
より低いベースライン率、より小さい効果、より高い信頼度、より高い検定力はすべて、偽陽性と偽陰性を避けるために必要なサンプルサイズを増加させます。
A/B テストのサンプルサイズの計算式は？
バリアントあたり n = (信頼度の z + 検出力の z)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)² です。p₁ はベースラインの率、p₂ はベースラインを最小検出可能効果の分だけ引き上げた率です。信頼度 95%、検出力 80% では z の値は 1.96 と 0.842 で、ベースライン 5%、リフト 10% ならバリアントあたり 31,232 人の訪問者になります。
A/B テストにおける統計的検出力とは何ですか？
検出力とは、指定した大きさの効果が実際に存在するときに、テストがそれを検出できる確率です。一般的なデフォルトは 80% で、本当のリフトが最小検出可能効果と等しいとき、テストは 10 回中 8 回それを見つけ、2 回見逃します。検出力を 90% に上げると見逃しは減りますが、訪問者は約 34% 多く必要になります。
A/B テストはどのくらいの期間実施すべきですか？
合計サンプル（バリアントあたりの訪問者数 × バリアント数）を、テストに入る 1 日あたりの訪問者数で割り、週単位に切り上げます。すべての曜日が含まれるよう最低 1 週間はまるごと実施し、結果が最初に有意に見えた時点で止めるのではなく、開始前に終了日を決めておいてください。
最小検出可能効果は相対値ですか、絶対値ですか？
相対値です。ベースライン 5% に対する 10% の効果は、5% から 5.5% への変化を検出することを意味します。5% から 6% を検出したい場合は 20 と入力してください。
3 つ以上のバリアントにもこの計算ツールを使えますか？
はい。結果はバリアントあたりの数なので、コントロールを含むバリアント数を掛けてください。複数のバリアントをコントロールと比較すると偽の勝者が出る確率が上がるため、比較ごとにより厳しい信頼水準を検討してください。
関連
PulsePanda の関連情報
テストを実行し、その後セッションを見てください
PulsePandaはあなたの実験をセッションリプレイ、ヒートマップ、ファネル、フィードバックと組み合わせて、勝利の背後にある理由を理解できるようにします。
無料で始める