무료 도구

A/B 테스트 표본 크기 계산기

실험을 시작하기 전에 결과가 실제로 신뢰할 수 있도록 각 변형에 얼마나 많은 방문자가 필요한지 알아보세요. 숫자를 입력하면 계산기가 즉시 업데이트됩니다. 모두 브라우저에서 실행됩니다.

31,232

변형당 필요한 방문자 수

두 가지 버전에서 총 62,464명의 방문자

숫자를 좌우하는 요인

필요 표본 수가 이렇게 크게 달라지는 이유

전환이 드물수록 실제 변화를 노이즈와 구분하는 데 더 많은 방문자가 필요합니다. 대략적으로, 기준 전환율이 절반이 되면 각 변형에 필요한 트래픽은 두 배가 됩니다.

최소 탐지 효과는 공식에 제곱으로 들어가기 때문에 다른 무엇보다 크게 작용합니다. 10% 대신 5% 개선을 탐지하려 하면 트래픽이 약 네 배로 늘어납니다. 어느 정도의 차이여야 실제로 의사결정이 바뀌는지 정하고 그 수준으로 검증하세요.

위의 숫자를 온전한 주 단위 트래픽으로 환산한 뒤 그 기간만큼 돌리세요. 유의해지는 순간 실험을 멈추는 것이야말로 팀이 나중에 재현되지 않는 변경을 배포하게 되는 가장 흔한 경로입니다.

자주 묻는 질문

이 도구는 기준 전환율, 최소 감지 가능한 효과, 선택한 신뢰 수준, 통계적 검정력을 기반으로 한 표준 이중 비율 공식을 사용하여 변형당 필요한 방문자 수를 추정합니다.

최소 감지 가능한 효과는 테스트가 안정적으로 감지할 수 있기를 원하는 전환율의 가장 작은 상대적 변화입니다. 작은 효과는 더 큰 샘플이 필요합니다.

더 낮은 기준 비율, 더 작은 효과, 더 높은 신뢰도, 더 높은 검정력 모두 거짓 양성과 거짓 음성을 피하는 데 필요한 표본 크기를 증가시킵니다.

PulsePanda는 실험을 세션 리플레이, 히트맵, 퍼널, 피드백과 결합하여 성공 뒤에 있는 이유를 이해할 수 있게 합니다.