無料ツール

A/Bテスト有意差計算ツール

テストは終わった。でも本当にバリアントが勝ったのでしょうか。各バージョンの訪問者数とコンバージョン数を入力すると、p値、信頼区間、そして平易な言葉での判定が表示されます。すべて入力しながらブラウザ内で計算されます。

+20.0%

バリアントがコントロールに勝っています — この差は統計的に有意です。

p = 0.0283（信頼水準 95%）

よくある質問

統計的有意性について

測定した差が偶然である可能性が低いということです。p値0.03は、2つのバージョンが本当に同じだった場合でも、これほど大きな差が約3%の確率で現れることを意味します。何かが変わったという証拠であり、証明ではなく、変化の大きさを表すものでもありません。

慣例では0.05未満、つまり信頼水準95%に相当します。展開コストが高い変更や元に戻しにくい変更では99%に基準を上げ、リスクの低い文言調整では90%でも構いません。ゆっくり確実であるより、素早くおおむね正しいほうが価値がある場面です。

いけません。何度も確認して最初に有意になった時点で止める「のぞき見（peeking）」は、偽陽性を大きく増やします。開始前にサンプルサイズを決め、そこまで回し切り、結果を一度だけ読むことです。その数値はサンプルサイズ計算ツールで求められます。

いいえ。検定はすべて素のJavaScriptでブラウザ内で実行されます。入力内容はアップロードも記録も保存もされず、一度読み込めばオフラインでも動作します。

p値は「何かが変わった」ことしか教えてくれません。PulsePandaのセッションリプレイ、ヒートマップ、ファネルが、実際にユーザーが何をしたのかを教えます。