무료 도구

A/B 테스트 유의성 계산기

테스트는 끝났습니다. 그런데 변형이 정말 이겼을까요? 각 버전의 방문자와 전환 수를 입력하면 p값, 신뢰구간, 그리고 쉬운 말로 된 판정을 보여줍니다. 모든 계산은 입력하는 동안 브라우저에서 이루어집니다.

+20.0%

변형이 대조군을 이겼습니다 — 차이가 통계적으로 유의합니다.

p = 0.0283, 신뢰 수준 95%

자주 묻는 질문

통계적 유의성에 대하여

측정한 차이가 우연일 가능성이 낮다는 뜻입니다. p값 0.03은 두 버전이 실제로 동일하더라도 이 정도(또는 그 이상)의 격차가 약 3%의 확률로 나타난다는 의미입니다. 무언가 달라졌다는 증거일 뿐, 증명도 아니고 변화의 크기를 나타내지도 않습니다.

관례는 0.05 미만이며, 이는 95% 신뢰 수준에 해당합니다. 배포 비용이 크거나 되돌리기 어려운 변경이라면 99%로 기준을 올리고, 위험이 낮은 문구 수정이라면 90%도 괜찮습니다. 느리게 확실한 것보다 빠르게 대략 맞는 편이 나은 경우입니다.

안 됩니다. 계속 확인하다가 처음 유의해진 순간 멈추는 이른바 '엿보기(peeking)'는 거짓 양성을 크게 늘립니다. 시작 전에 표본 크기를 정하고 거기까지 채운 다음, 결과를 한 번만 읽으세요. 그 숫자는 표본 크기 계산기가 알려줍니다.

아니요. 모든 검정은 순수 JavaScript로 브라우저에서 실행됩니다. 입력한 내용은 업로드·기록·저장되지 않으며, 한 번 불러오면 오프라인에서도 동작합니다.

p값은 무언가 달라졌다는 것만 알려줍니다. PulsePanda의 세션 리플레이, 히트맵, 퍼널은 사람들이 실제로 무엇을 했는지 알려줍니다.