무료 도구

A/B 테스트 유의성 계산기

테스트는 끝났습니다. 그런데 변형이 정말 이겼을까요? 각 버전의 방문자와 전환 수를 입력하면 p값, 신뢰구간, 그리고 쉬운 말로 된 판정을 보여줍니다. 모든 계산은 입력하는 동안 브라우저에서 이루어집니다.

+20.0%

변형이 대조군을 이겼습니다 — 차이가 통계적으로 유의합니다.

p = 0.0283, 신뢰 수준 95%

대조군 전환율: 5.00%
변형 전환율: 6.00%
p값: 0.0283
차이 범위: +0.1% … +1.9%

계산 원리

A/B 테스트의 통계적 유의성을 계산하는 방법

이 계산기는 두 전환율을 비교하는 표준 검정인 두 비율 z-검정을 수행합니다.

전환율: p₁ = A 전환 수 ÷ A 방문자 수, p₂ = B 전환 수 ÷ B 방문자 수.
합동 비율(일단 A와 B가 같다고 가정): p = (A 전환 수 + B 전환 수) ÷ (A 방문자 수 + B 방문자 수).
차이의 표준오차: SE = √[p(1 − p) × (1/n₁ + 1/n₂)].
검정 통계량: z = (p₂ − p₁) ÷ SE. p값은 실제 차이가 없을 때 0에서 최소한 이만큼 떨어진 z가 나올 확률입니다.

계산 예: 기본 입력값

A: 방문자 5,000명 중 전환 250 = 5.00%. B: 5,000명 중 300 = 6.00%. 상대 상승은 20%입니다.
합동 비율: 550 ÷ 10,000 = 0.055.
SE = √(0.055 × 0.945 × (1/5,000 + 1/5,000)) ≈ 0.00456.
z = 0.01 ÷ 0.00456 ≈ 2.19이며, 이로부터 양측 p값 0.0283이 나옵니다.

0.0283은 0.05보다 작으므로 신뢰 수준 95%에서 B는 유의한 승자입니다. 신뢰 수준 99%에서는 아닙니다. 그러려면 p가 0.01보다 작아야 합니다.

결과 읽기

p값, 상승률, 신뢰구간이 각각 알려 주는 것

p값. A와 B가 정말 같다면 이 차이가 얼마나 놀라운지를 나타냅니다. 효과가 얼마나 큰지는 전혀 말해 주지 않습니다. 트래픽이 충분하면 아주 작고 쓸모없는 상승도 아주 작은 p값을 가질 수 있습니다.
상승률. A에서 B로의 상대 변화: 예시에서는 (6.00% − 5.00%) ÷ 5.00% = +20%입니다. 하나의 값으로는 가장 좋은 추정치지만 노이즈가 섞여 있습니다.
신뢰구간. 데이터와 들어맞는 실제 차이의 범위로, 퍼센트포인트 단위입니다. 예시의 95% 신뢰구간은 약 +0.1에서 +1.9포인트입니다. B가 더 낫지만, 실제 이득은 거의 없는 수준부터 측정값의 거의 두 배까지 어디든 될 수 있습니다. 변경이 진짜인지뿐 아니라 배포할 가치가 있는지 판단하는 데 쓰세요.

구간이 0을 지나면 그 신뢰 수준에서는 결과가 유의하지 않습니다. 99%에서 예시의 구간은 −0.2에서 +2.2포인트이며, 바로 그래서 99%에서는 통과하지 못합니다.

표본 크기

같은 상승률이 유의하기도 하고 아니기도 한 이유

같은 5% → 6% 결과(20% 상승)를 변형별 방문자 수만 바꿔 본 것입니다.

변형당 방문자	z	p값 (양측)	95% 구간 (포인트)
1,000	0.98	0.327	−1.0 ~ +3.0
2,500	1.55	0.121	−0.3 ~ +2.3
5,000	2.19	0.028	+0.1 ~ +1.9
10,000	3.10	0.002	+0.4 ~ +1.6
20,000	4.39	< 0.0001	+0.6 ~ +1.4

방문자 1,000명에서 '유의하지 않음'이라는 결과는 B가 아무 차이도 만들지 못했다는 뜻이 아닙니다. 테스트가 너무 작아서 알 수 없었다는 뜻입니다. 시작하기 전에 표본 크기 계산기로 필요한 트래픽을 계산하세요. 기준 5%에서 20% 상승을 감지하려면 신뢰 수준 95%, 검정력 80%에서 변형당 8,156명이 필요합니다.

배포 전에

유의한 결과를 믿기 전에 확인할 것

계획한 표본에 도달했나요. p가 처음 0.05 아래로 내려갔을 때 멈추면 거짓 양성이 5%를 훨씬 넘게 부풀려집니다. 미리 정한 표본 크기에서 결과를 한 번만 읽으세요.
배분이 설정한 대로인가요. 50/50 테스트에서 5,000 대 4,700명은 우연이라고 보기에는 너무 치우쳐 있습니다(카이제곱 p ≈ 0.002). 표본 비율 불일치는 대개 리디렉션, 봇 필터, 추적 버그 때문에 한 변형의 방문자가 빠지고 있다는 뜻이며, 이 경우 전환율을 믿을 수 없습니다.
주 단위로 진행했나요. 평일과 주말 방문자는 전환 양상이 다릅니다. 주 중간에 끝난 테스트는 일부 요일에 치우칩니다.
상승폭이 가치가 있나요. 구간의 아래쪽 끝을 보세요. 가능한 최소 이득으로 변경 비용을 감당할 수 없다면, 유의한 결과라도 배포할 이유가 되지 않습니다.
찾아다닌 결과가 아닌가요. 차이가 없던 테스트를 기기, 국가, 유입 경로로 쪼개 어느 세그먼트가 유의해질 때까지 보는 것은 거짓 양성을 찾는 확실한 방법입니다. 세그먼트 검정은 미리 계획한 경우에만 하세요.

승자 없음

결과가 유의하지 않을 때 할 일

테스트가 효과를 찾을 수 있었는지 확인하세요. 표본 크기 계산기가 요구하는 것보다 방문자가 적었다면 테스트는 검정력이 부족했고, 정직한 판정은 '차이 없음'이 아니라 '알 수 없음'입니다.
구간을 읽으세요. −0.3에서 +2.3포인트의 구간은 큰 손실은 배제하지만 가치 있는 이득의 가능성은 남겨 둡니다. 테스트 결과가 아니라 판단의 문제로서, 위험이 낮은 변경이라면 배포할 근거가 될 수 있습니다.
테스트를 계속 연장하지 마세요. 유의해질 때까지 트래픽을 더하는 것은 단계만 늘린 몰래 보기입니다. 대신 더 큰 변경이나 방문이 더 많은 페이지로 새 테스트를 계획하세요.
왜 아무것도 움직이지 않았는지 알아보세요. 각 변형 방문자의 세션 리플레이를 보고 퍼널이 어디서 그들을 잃는지 확인하세요. 아무도 알아채지 못한 변형과, 알아챘지만 무시한 변형은 다른 문제입니다.

자주 묻는 질문

통계적 유의성에 대하여

통계적 유의성은 실제로 무엇을 뜻하나요?

측정한 차이가 우연일 가능성이 낮다는 뜻입니다. p값 0.03은 두 버전이 실제로 동일하더라도 이 정도(또는 그 이상)의 격차가 약 3%의 확률로 나타난다는 의미입니다. 무언가 달라졌다는 증거일 뿐, 증명도 아니고 변화의 크기를 나타내지도 않습니다.

어느 정도의 p값이면 승리인가요?

관례는 0.05 미만이며, 이는 95% 신뢰 수준에 해당합니다. 배포 비용이 크거나 되돌리기 어려운 변경이라면 99%로 기준을 올리고, 위험이 낮은 문구 수정이라면 90%도 괜찮습니다. 느리게 확실한 것보다 빠르게 대략 맞는 편이 나은 경우입니다.

유의해지는 즉시 테스트를 멈춰도 되나요?

안 됩니다. 계속 확인하다가 처음 유의해진 순간 멈추는 이른바 '엿보기(peeking)'는 거짓 양성을 크게 늘립니다. 시작 전에 표본 크기를 정하고 거기까지 채운 다음, 결과를 한 번만 읽으세요. 그 숫자는 표본 크기 계산기가 알려줍니다.

이 계산기는 데이터를 어디론가 보내나요?

아니요. 모든 검정은 순수 JavaScript로 브라우저에서 실행됩니다. 입력한 내용은 업로드·기록·저장되지 않으며, 한 번 불러오면 오프라인에서도 동작합니다.

A/B 테스트의 통계적 유의성은 어떻게 계산하나요?

두 비율 z-검정을 사용합니다. 각 전환율, 두 변형을 합친 합동 비율, 표준오차 √[p(1 − p)(1/n₁ + 1/n₂)]를 계산합니다. 비율의 차이를 표준오차로 나눠 z를 구하고, z를 p값으로 변환합니다. 250/5,000 대 300/5,000이면 z ≈ 2.19, 양측 p값은 0.028로 95%에서 유의합니다.

A/B 테스트에서 p값이란 무엇인가요?

두 버전의 성과가 실제로 같았다면, 측정한 차이와 같거나 더 큰 차이를 볼 확률입니다. p값 0.03은 이만한 차이가 우연만으로 약 3%의 확률로 나타난다는 뜻입니다. B가 더 나을 확률이 아니며, 효과의 크기를 측정하지도 않습니다.

B의 전환이 더 좋았는데 왜 테스트가 유의하지 않나요?

대개 차이의 크기에 비해 표본이 너무 작기 때문입니다. 5% → 6% 결과는 변형당 2,500명에서는 유의하지 않지만(p = 0.12), 5,000명에서는 유의합니다(p = 0.028). 차이가 없는 결과를 '효과 없음'으로 읽기 전에 계획한 표본 크기를 확인하세요.

단측 검정과 양측 검정 중 무엇을 써야 하나요?

양측 검정입니다. 다만 손실과 변화 없음이 같은 결정으로 이어진다고 테스트 전에 정해 두었다면 예외입니다. 단측 검정은 B가 앞설 때 p값을 절반으로 줄이므로(기본 예시에서 0.028이 0.014가 됨), 데이터를 본 뒤에 단측으로 바꾸는 것은 정당하지 않습니다.

변형이 두 개보다 많아도 이 계산기를 쓸 수 있나요?

네, 각 변형을 대조군과 따로 비교하면 됩니다. 비교가 하나 늘 때마다 가짜 승자가 나올 확률이 커지므로 비교마다 더 엄격한 기준을 쓰세요. 대조군에 대해 변형 두 개를 비교한다면 각각을 95% 대신 신뢰 수준 97.5%로 검정하세요.

PulsePanda 더 보기

왜 이겼는지까지 확인하세요

p값은 무언가 달라졌다는 것만 알려줍니다. PulsePanda의 세션 리플레이, 히트맵, 퍼널은 사람들이 실제로 무엇을 했는지 알려줍니다.

무료로 시작하기