無料ツール

A/Bテストサンプルサイズ計算ツール

実験を開始する前に、結果が実際に信頼できるように各バリアントに必要な訪問者数を調べましょう。数値を入力すると計算機がすぐに更新されます。すべてブラウザ内で動作します。

31,232

バリアントごとに必要な訪問者数

2つのバリアントで合計62,464人の訪問者

数字を左右する要因

必要サンプル数がこれほど大きく動く理由

コンバージョンが希少であるほど、本当の変化をノイズから切り分けるのに必要な訪問者数は増えます。おおよそ、ベースラインのコンバージョン率が半分になると、各バリアントに必要な流入は倍になります。

最小検出可能効果は式のなかで二乗で効くため、他のどの要素よりも支配的です。10%ではなく5%の改善を検出しようとすると、必要な流入はおよそ4倍になります。どれくらいの差なら実際に意思決定が変わるのかを決めて、その水準で検証してください。

上の数字を丸ごと何週間分の流入に換算し、その期間は走らせきってください。有意になった瞬間に止めることこそ、後で再現しない変更をチームが出してしまう最も一般的な原因です。

よくある質問

このツールは、ベースラインコンバージョン率、最小検出可能効果、選択した信頼水準、統計的検定力に基づく標準的な2比率公式を使用して、バリアントごとに必要な訪問者数を推定します。

最小検出可能効果とは、テストが確実に検出できるようにしたいコンバージョン率の最小相対変化です。小さな効果にはより大きなサンプルが必要です。

より低いベースライン率、より小さい効果、より高い信頼度、より高い検定力はすべて、偽陽性と偽陰性を避けるために必要なサンプルサイズを増加させます。

PulsePandaはあなたの実験をセッションリプレイ、ヒートマップ、ファネル、フィードバックと組み合わせて、勝利の背後にある理由を理解できるようにします。