무료 도구

A/B 테스트 표본 크기 계산기

실험을 시작하기 전에 결과가 실제로 신뢰할 수 있도록 각 변형에 얼마나 많은 방문자가 필요한지 알아보세요. 숫자를 입력하면 계산기가 즉시 업데이트됩니다. 모두 브라우저에서 실행됩니다.

31,232

변형당 필요한 방문자 수

두 가지 버전에서 총 62,464명의 방문자

숫자를 좌우하는 요인

필요 표본 수가 이렇게 크게 달라지는 이유

기준 전환율이 낮으면 트래픽이 더 듭니다

전환이 드물수록 실제 변화를 노이즈와 구분하는 데 더 많은 방문자가 필요합니다. 대략적으로, 기준 전환율이 절반이 되면 각 변형에 필요한 트래픽은 두 배가 됩니다.

가장 큰 지렛대는 탐지하려는 효과 크기

최소 탐지 효과는 공식에 제곱으로 들어가기 때문에 다른 무엇보다 크게 작용합니다. 10% 대신 5% 개선을 탐지하려 하면 트래픽이 약 네 배로 늘어납니다. 어느 정도의 차이여야 실제로 의사결정이 바뀌는지 정하고 그 수준으로 검증하세요.

시작 전에 기간을 정하세요

위의 숫자를 온전한 주 단위 트래픽으로 환산한 뒤 그 기간만큼 돌리세요. 유의해지는 순간 실험을 멈추는 것이야말로 팀이 나중에 재현되지 않는 변경을 배포하게 되는 가장 흔한 경로입니다.

공식

A/B 테스트 표본 크기를 계산하는 방법, 단계별로

이 계산기는 두 전환율을 비교하는 표준 표본 크기 공식을 사용합니다. 변형마다:

n = (z_α/2 + z_β)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²

p₁은 기준 전환율(소수)입니다.
p₂는 감지하고 싶은 비율로, 기준값을 최소 감지 가능 효과만큼 올린 값입니다. 즉 p₂ = p₁ × (1 + MDE)입니다.
z_α/2는 신뢰 수준(양측)에서 나옵니다: 90%에서 1.645, 95%에서 1.96, 99%에서 2.576.
z_β는 검정력에서 나옵니다: 80%에서 0.842, 90%에서 1.282, 95%에서 1.645.

계산 예: 기본 입력값

기준 5%, 상대 상승 10%, 신뢰 수준 95%, 검정력 80%일 때:

p₁ = 0.05, p₂ = 0.05 × 1.10 = 0.055이므로 감지할 차이는 0.005입니다.
(1.96 + 0.8416)² = 2.8016² ≈ 7.849.
p₁(1 − p₁) + p₂(1 − p₂) = 0.0475 + 0.051975 = 0.099475.
n = 7.849 × 0.099475 ÷ 0.005² ≈ 31,231.0, 올림하면 변형당 방문자 31,232명입니다.

변형이 두 개면 총 62,464명의 방문자가 필요합니다. 아무것도 바꾸지 않았을 때 계산기가 보여 주는 숫자가 이것입니다.

한눈에 보기

흔한 기준 전환율별 변형당 표본 크기

신뢰 수준 95%, 검정력 80%에서 변형당 필요한 방문자 수입니다. 감지하려는 상대 상승 열까지 가로로 읽으세요.

기준 전환율	5% 상승	10% 상승	20% 상승	30% 상승
1%	637,014	163,094	42,691	19,824
2%	315,207	80,680	21,106	9,795
5%	122,123	31,232	8,156	3,778
10%	57,761	14,749	3,839	1,772
20%	25,580	6,507	1,680	769

두 가지 패턴이 눈에 띕니다. 감지하려는 상승폭을 절반으로 줄이면 표본은 대략 네 배가 됩니다. 그리고 구매율 1%처럼 전환이 낮은 단계는 요금 페이지 클릭률 10%처럼 전환이 높은 단계보다 몇 배의 트래픽이 필요합니다.

테스트 기간

A/B 테스트는 얼마나 오래 진행해야 하나요?

시작하기 전에 표본 크기를 기간으로 바꿔 보세요.

일수 = 변형당 방문자 수 × 변형 수 ÷ 테스트에 들어오는 일일 방문자 수

그런 다음 주 단위로 올림합니다. 평일과 주말 방문자는 다르게 행동하므로 주 중간에 끝나는 테스트는 일부 요일에 치우칩니다.

기본값(총 62,464명)에 대상 방문자가 하루 2,000명이면: 31.2일이므로 5주 진행합니다.
대상 방문자가 하루 5,000명이면: 12.5일이므로 2주입니다.
대상 방문자가 하루 800명이면: 78일. 더 큰 변경이나 방문이 더 많은 페이지를 테스트하라는 신호입니다(아래 참고).

사이트 전체 트래픽이 아니라, 테스트하는 페이지나 단계에 실제로 도달한 방문자만 세세요. 결제 페이지 테스트에는 결제 페이지에 도달한 사람만 포함됩니다.

트래픽이 많더라도 최소 한 주는 꽉 채워 진행하세요. 종료일을 미리 정하고, 셋째 날 결과가 유의해 보인다고 일찍 멈추지 마세요. 반복해서 확인하다가 처음 유의하게 나온 시점에 멈추면 거짓 양성 비율이 선택한 신뢰 수준보다 훨씬 커집니다.

신뢰 수준과 검정력

신뢰 수준과 통계적 검정력이 숫자에 미치는 영향

신뢰 수준은 거짓 양성, 즉 실제 차이가 없는데 승자를 선언하는 것을 막아 줍니다. 95%에서는 동일한 두 변형을 테스트해도 약 5%의 확률로 '유의한' 결과가 나옵니다.

검정력은 거짓 음성, 즉 실제 효과를 놓치는 것을 막아 줍니다. 검정력 80%에서 실제 상승폭이 최소 감지 가능 효과와 정확히 같다면 테스트는 10번 중 8번 이를 감지합니다.

어느 쪽을 높여도 트래픽이 더 듭니다. 기준 5%, 상승 10%일 때:

신뢰 수준	검정력	변형당	기본값 대비
90%	80%	24,601	−21%
95%	80%	31,232	기본값
95%	90%	41,812	+34%
99%	80%	46,470	+49%

단측 검정과 양측 검정

여기서의 신뢰 수준은 양측입니다. 테스트는 변형이 대조군보다 좋거나 나쁜 경우를 모두 찾을 수 있습니다. 95% 단측 검정은 z = 1.645를 쓰는데, 이는 90% 양측 검정과 같은 값이므로 변형당 필요한 방문자도 똑같이 24,601명입니다. 이렇게 아끼는 것이 정당한 것은 '더 나쁨'과 '차이 없음'을 똑같이 취급할 때뿐입니다. 지는 변형이 나온다면 행동이 달라질 경우에는 양측 검정을 유지하세요.

흔한 실수

표본 크기를 틀리게 만드는 실수

상대 효과와 절대 효과. 여기서 최소 감지 가능 효과는 상대값입니다. 5%인 비율을 6%로 올리는 것은 20%의 상대 상승입니다(변형당 8,156명). 1을 입력하면 5%에서 5.05%로의 변화를 뜻하며, 변형당 약 300만 명이 필요합니다.
잘못된 단위 세기. 표본 크기는 무작위로 배정되고 전환하는 단위를 셉니다. 방문자별로 변형을 배정한다면 세션이나 페이지뷰가 아니라 방문자를 세세요. 한 사람이 반복한 세션은 독립된 표본이 아닙니다.
두 개를 넘는 변형. 숫자는 변형당 값이므로 A/B/C 테스트에는 그 세 배가 필요합니다. 대조군과의 비교가 하나 늘 때마다 가짜 승자가 나올 확률도 커집니다. 흔한 해결책은 오류율을 비교들에 나눠 배분하는 것으로, 예를 들어 비교 두 개를 각각 95% 대신 97.5%로 검정합니다.
희석된 트래픽. 테스트에 포함된 방문자 중 일부만 변경을 보게 되면 실제 효과가 희석되어 검정력이 부족해집니다. 변형이 실제로 달라지는 지점에서 사람들을 배정하세요.
진행 중 테스트 변경. 중간에 변형을 수정하거나, 트래픽 배분을 바꾸거나, 변형을 추가하면 처음부터 다시 시작하는 것과 같습니다.

트래픽이 적을 때

필요한 표본 크기가 보유한 트래픽보다 클 때 할 일

더 큰 변경을 테스트하세요. 새로 디자인한 요금 페이지는 전환을 20–30% 움직일 수 있지만 버튼 색상은 그렇지 못합니다. 효과가 클수록 필요한 표본은 훨씬 작아집니다.
전환이 높은 단계를 측정하세요. 유료 전환 대신 가입으로 가는 클릭에서 테스트하고, 그 이후의 효과는 더 긴 기간에 걸쳐 확인하세요.
신뢰 수준 90%를 알고서 받아들이세요. 거짓 양성이 늘어나는 대신 트래픽을 약 5분의 1 아낄 수 있습니다. 테스트를 시작하기 전에 이 절충을 기록해 두세요.
A/B 테스트를 아예 하지 마세요. 작은 사이트에서는 이탈한 사람들의 세션 리플레이를 보고 퍼널이 어디서 새는지 확인하는 편이, 유의성에 도달할 수 없는 테스트보다 대개 더 빨리 문제를 찾습니다.

테스트를 예정된 기간 동안 모두 진행했다면 A/B 테스트 유의성 계산기로 결과를 확인하세요.

자주 묻는 질문

표본 크기 정보

A/B 테스트 표본 크기는 어떻게 계산되나요?

이 도구는 기준 전환율, 최소 감지 가능한 효과, 선택한 신뢰 수준, 통계적 검정력을 기반으로 한 표준 이중 비율 공식을 사용하여 변형당 필요한 방문자 수를 추정합니다.

최소 감지 가능한 효과란 무엇인가요?

최소 감지 가능한 효과는 테스트가 안정적으로 감지할 수 있기를 원하는 전환율의 가장 작은 상대적 변화입니다. 작은 효과는 더 큰 샘플이 필요합니다.

테스트에 방문자가 왜 이렇게 많이 필요한가요?

더 낮은 기준 비율, 더 작은 효과, 더 높은 신뢰도, 더 높은 검정력 모두 거짓 양성과 거짓 음성을 피하는 데 필요한 표본 크기를 증가시킵니다.

A/B 테스트 표본 크기 공식은 무엇인가요?

변형당 n = (신뢰 수준의 z + 검정력의 z)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)²이며, p₁은 기준 전환율, p₂는 기준값을 최소 감지 가능 효과만큼 올린 값입니다. 신뢰 수준 95%, 검정력 80%에서 z 값은 1.96과 0.842이고, 기준 5%와 상승 10%면 변형당 방문자 31,232명이 나옵니다.

A/B 테스트에서 통계적 검정력이란 무엇인가요?

검정력은 지정한 크기의 효과가 실제로 존재할 때 테스트가 이를 감지할 확률입니다. 보통 기본값은 80%로, 실제 상승폭이 최소 감지 가능 효과와 같다면 테스트는 10번 중 8번 이를 찾고 2번 놓칩니다. 검정력을 90%로 올리면 놓치는 경우가 줄지만 방문자가 약 34% 더 필요합니다.

A/B 테스트는 얼마나 오래 진행해야 하나요?

전체 표본(변형당 방문자 수 × 변형 수)을 테스트에 들어오는 일일 방문자 수로 나눈 뒤 주 단위로 올림하세요. 모든 요일이 포함되도록 최소 한 주는 꽉 채워 진행하고, 결과가 처음 유의해 보일 때 멈추는 대신 시작 전에 종료일을 정해 두세요.

최소 감지 가능 효과는 상대값인가요, 절대값인가요?

상대값입니다. 기준 5%에 10% 효과는 5%에서 5.5%로의 변화를 감지한다는 뜻입니다. 5%에서 6%를 감지하려면 20을 입력하세요.

변형이 두 개보다 많아도 이 계산기를 쓸 수 있나요?

네. 결과는 변형당 값이므로 대조군을 포함한 변형 수를 곱하세요. 여러 변형을 대조군과 비교하면 가짜 승자가 나올 확률이 커지므로, 비교마다 더 엄격한 신뢰 수준을 고려하세요.

PulsePanda 더 보기

테스트를 실행한 다음 세션을 시청하세요

PulsePanda는 실험을 세션 리플레이, 히트맵, 퍼널, 피드백과 결합하여 성공 뒤에 있는 이유를 이해할 수 있게 합니다.

무료로 시작하기