A/B 테스트는 언제 멈추고 무엇으로 판정해야 합니까. 표본 수를 시작 전에 계산해 두고, 그 숫자에 도달할 때까지 결과를 판정에 쓰지 않는 방식이 기본입니다. 전환율 3.0%와 3.6%를 유의수준 5%, 검정력 80%로 구분하려면 안당 약 13,900명, 두 안 합쳐 약 27,800명이 필요합니다. 이 글은 표본 수 계산법, 중단 규칙, 조기 종료가 만드는 오판, 승자를 확정하기 전 확인할 보조 지표를 다룹니다.
- 3.0%와 3.6%를 가르려면 두 안 합쳐 약 27,800명이 필요합니다. 3.0%와 3.3%는 약 106,000명입니다.
- 일 방문 1,000명이면 28일, 300명이면 93일이 걸립니다. 300명 사이트는 이 테스트를 설계부터 다시 잡아야 합니다.
- 매주 한 번씩 5주를 들여다보며 멈출지 정하면, 우연히 유의할 확률이 5%가 아니라 최대 22.6%까지 올라갑니다.
- 전환율이 30% 올라도 유효율이 62%에서 44%로 떨어지면 유효 전환은 7.7% 줄어듭니다.
A/B 테스트의 중단 규칙이란 무엇입니까
중단 규칙은 테스트를 시작하기 전에 표본 수와 기간, 판정 지표를 적어 두고 그 조건을 채우기 전에는 결과로 결정하지 않겠다고 정한 약속입니다.
규칙이 없으면 판정은 사람이 화면을 본 시점에 좌우됩니다. 같은 데이터도 언제 봤느냐에 따라 승자가 달라집니다.
그래서 규칙은 데이터를 보기 전에 씁니다. 보고 나서 쓰면 규칙이 아닙니다.
먼저 정할 네 가지
첫째는 1차 지표입니다. 판정에 쓰는 지표는 하나만 둡니다.
둘째는 최소 검출 효과입니다. 이만큼 차이가 나면 안을 바꾸겠다는 크기를 미리 적습니다.
셋째는 표본 수입니다. 1차 지표와 최소 검출 효과가 정해지면 산수로 나옵니다.
넷째는 최소 기간입니다. 표본이 일찍 차더라도 요일 주기 한 바퀴는 채웁니다.
표본 수는 어떻게 계산합니까
현재 전환율과 검출하려는 차이만 있으면 나옵니다. 유의수준 5% 양측, 검정력 80% 기준으로 계산합니다.
현장에서 쓰는 근사식은 간단합니다. 안당 표본 수는 대략 16 × p × (1-p) ÷ (절대 차이)² 입니다.
p는 두 안의 평균 전환율, 절대 차이는 3.0%와 3.6%의 차이인 0.6%p를 말합니다. 이 식에 넣으면 안당 약 14,000명이 나옵니다.
| 목표 개선 | 전환율 변화 | 안당 표본 | 총 표본 | 일 1,000명 기준 기간 |
|---|---|---|---|---|
| 상대 10% | 3.0% → 3.3% | 약 53,000명 | 약 106,000명 | 약 106일 |
| 상대 20% | 3.0% → 3.6% | 약 13,900명 | 약 27,800명 | 약 28일 |
| 상대 50% | 3.0% → 4.5% | 약 2,500명 | 약 5,000명 | 약 5일 |
표는 한 문장으로 요약됩니다. 검출하려는 차이를 절반으로 줄이면 필요한 사람 수는 네 배로 늘어납니다.
여기가 아하 모먼트입니다. 작은 개선을 확인하는 비용은 선형이 아니라 제곱으로 늘어납니다.
내 사이트에서 가능한 테스트인지 먼저 봅니다
일 방문 1,000명인 랜딩이면 27,800명은 28일이면 채워집니다. 실행 가능한 테스트입니다.
일 방문 300명이면 93일이 걸립니다. 3개월 동안 소재도 예산도 시즌도 그대로 두어야 하는데, 현실에서는 유지되지 않습니다.
이때 답은 테스트를 오래 끄는 것이 아닙니다. 목표를 상대 50% 개선처럼 크게 잡고, 그만큼 크게 바꾼 안을 만드는 쪽입니다.
버튼 색이나 문구 한 줄로는 상대 50%가 나오지 않습니다. 제안 자체나 폼 구조를 바꿔야 나옵니다. 폼 구조가 만드는 차이는 폼 필드와 유효 건당 단가에 정리했습니다.
왜 중간에 멈추면 안 됩니까
매일 결과를 보다가 유의하게 나온 날 멈추는 방식이 가장 흔한 실수입니다. 이 방식은 오판 확률을 키웁니다.
산수로 보면 이렇습니다. 관찰 시점마다 유의 여부를 독립적으로 판정한다고 가정하면, 5번 들여다볼 때 한 번이라도 우연히 유의할 확률은 1 − 0.95⁵, 즉 22.6%입니다.
실제 관찰은 서로 겹치는 데이터를 보므로 22.6%보다는 낮습니다. 그래도 처음 약속한 5%보다는 확실히 큽니다.
일찍 이긴 안은 효과가 부풀려집니다
표본이 적을수록 유의 판정을 받으려면 관측 차이가 커야 합니다. 안당 3,000명 시점에서 유의하려면 전환율 차이가 약 0.9%p, 상대 30% 이상이어야 합니다.
참 효과가 상대 20%인 안이라면 이 조건을 통과할 수 없습니다. 통과했다면 표본이 우연히 좋게 나온 경우입니다.
그래서 일찍 멈춘 테스트의 승자는 다음 달에 같은 폭으로 재현되지 않습니다. 개선폭이 절반 이하로 줄어드는 일이 흔합니다.
최소 기간을 함께 두는 이유
표본이 먼저 차도 요일 주기를 채워야 합니다. 주중과 주말의 방문자 구성이 다르기 때문입니다.
7일 단위로 끊는 것이 기본입니다. 급여일이나 월초·월말 영향이 큰 업종은 14일을 씁니다.
기간과 표본 중 늦게 도달하는 쪽에 맞춥니다. 둘 중 하나만 채우고 끝내지 않습니다.
무엇으로 판정합니까
1차 지표는 매출에 가장 가까운 것으로
클릭률로 판정하면 클릭은 늘고 문의는 줄어드는 안이 이깁니다. 판정 지표는 가능한 한 뒤쪽에 둡니다.
다만 뒤로 갈수록 전환 건수가 줄어 표본이 더 필요합니다. 문의 전환율 3%가 계약 전환율 0.3%로 내려가면 필요한 표본은 열 배 가까이 늘어납니다.
실무에서는 문의 전환율을 1차 지표로 두고, 계약률은 보조 지표로 확인하는 방식이 자주 쓰입니다. 지표를 목적별로 나누는 기준은 광고 리포트에서 볼 지표를 참고하시면 됩니다.
보조 지표에서 뒤집히는 경우
폼 필드를 6개에서 3개로 줄인 안을 예로 봅니다. 전환율이 3.0%에서 3.9%로, 상대 30% 올랐습니다.
그런데 유효율이 62%에서 44%로 떨어졌습니다. 유효 전환율로 환산하면 1.86%에서 1.716%가 됩니다.
전환은 30% 늘었는데 유효 전환은 7.7% 줄었습니다. 1차 지표만 보면 승자, 보조 지표까지 보면 패자입니다.
그래서 승자 선언 전에 최소 세 가지를 확인합니다. 유효율, 이탈률, 페이지 응답 속도입니다. 속도가 비용으로 환산되는 구조는 모바일 랜딩 1초 지연에서 다뤘습니다.
차이가 없다는 결과도 결과입니다
표본을 다 채우고도 유의한 차이가 없으면 기존 안을 유지합니다. 이것은 실패가 아닙니다.
다음 테스트에서 더 큰 변화를 시도할 근거가 됩니다. 작은 변경으로는 움직이지 않는다는 정보를 얻은 것입니다.
판단에 필요한 관측치가 부족할 때 결론을 미루는 원칙은 다른 영역에서도 같습니다. 키워드 정리 기준은 검색광고 키워드 끄는 기준에 정리했습니다.
규칙을 어떤 순서로 세웁니까
테스트 밖에서 확인해야 하는 것
A/B 테스트는 같은 시점, 같은 트래픽 안에서 비교합니다. 광고를 켜고 끄는 효과처럼 사이트 밖 영향은 이 방식으로 잡히지 않습니다.
그런 질문은 기간을 나누는 다른 설계가 필요합니다. 홀드아웃으로 재는 방법은 4주 홀드아웃에서 다뤘습니다.
테스트 결과가 이상하면 계측부터 의심합니다. 배분이 50대 50이 아니거나 한쪽에서만 태그가 빠지는 일이 자주 있습니다. 점검 목록은 전환 계측이 새는 다섯 자리에 있습니다.
- 지금 돌리는 테스트의 필요 표본을 계산해 봅니다. 16 × p × (1-p) ÷ (절대 차이)²에 현재 전환율을 넣습니다. 이미 채운 표본이 절반도 안 되면 판정 화면을 닫습니다.
- 일 방문 수로 나눠 예상 기간을 적습니다. 6주를 넘기면 테스트를 접고 최소 검출 효과를 상대 50%로 키운 뒤 변경 폭이 큰 안을 새로 만듭니다.
- 1차 지표를 하나로 줄입니다. 지금 리포트에 지표가 세 개 이상 나란히 있다면 판정용 하나만 남기고 나머지는 보조 지표 칸으로 옮깁니다.
- 보조 지표 세 개를 오늘 붙입니다. 유효율, 이탈률, 페이지 응답 속도를 같은 화면에 놓습니다. 전환율이 올라도 유효율이 5%p 이상 떨어지면 교체를 보류합니다.
- 지난 분기에 교체한 안의 실제 개선폭을 다시 셉니다. 테스트 당시 개선폭과 교체 후 4주 실적을 나란히 적어 보면, 조기 종료가 있었는지 바로 드러납니다.
자주 묻는 질문
정리
A/B 테스트에서 어려운 부분은 도구가 아닙니다. 언제 멈출지를 미리 정하고 지키는 일입니다.
표본 수를 먼저 계산해 보면 할 수 있는 테스트와 할 수 없는 테스트가 갈립니다. 할 수 없는 테스트는 오래 끌지 말고 변경 폭을 키우시기 바랍니다.
랜딩 구조와 트래픽 규모에 맞는 테스트 설계를 함께 검토하고 싶으시면 하단 ‘광고 문의하기’ 버튼으로 상담을 신청하시기 바랍니다. 현재 전환율과 일 방문 수만 있으면 가능한 범위를 먼저 계산해 드릴 수 있습니다.
- 표본 수는 두 비율의 차이에 대한 검정에서 유의수준 5% 양측, 검정력 80%를 가정해 계산한 값입니다.
- 본문 수치는 모두 가정값을 넣은 계산 예시입니다. 동일한 성과를 보장하지 않습니다.