소재 A/B 테스트는 표본 수를 먼저 계산하고 시작합니다. 클릭 1,000회에서 전환율 3%의 95% 신뢰구간은 1.94%에서 4.06%입니다. 위쪽이 아래쪽의 2배가 넘으니 어떤 소재가 나은지 말할 수 없습니다. 표본 수 공식, 소재 개수와 예산의 관계, 조기 종료의 함정을 계산으로 다룹니다.

소재 테스트의 표본 수는 무엇으로 정합니까

표본 수는 기저 성과율과 탐지하려는 최소 차이 두 값으로 결정됩니다.

소재의 개수나 예산 규모가 먼저가 아닙니다. 얼마나 작은 차이까지 잡아낼지를 정해야 숫자가 나옵니다.

작은 차이를 잡으려 할수록 표본은 제곱으로 늘어납니다. 이 관계를 모르면 테스트가 끝나도 결론이 남지 않습니다.

공식은 한 줄입니다

군당 표본 = 16 × p × (1 − p) ÷ 절대 차이의 제곱입니다. 검정력 80%, 유의수준 5% 양측 기준의 근사식입니다.

p는 기존 소재의 성과율입니다. 절대 차이는 백분율 포인트로 적습니다.

상대 20% 개선은 절대 차이가 아닙니다. 기저가 1.5%라면 상대 20%는 절대 0.3%p입니다.

클릭률과 전환율은 필요한 표본이 다릅니다

클릭률 1.5%에서 절대 0.3%p를 탐지한다고 가정합니다. 16 × 0.015 × 0.985 ÷ 0.003² = 약 26,300입니다.

단위는 노출입니다. 소재당 노출 26,300회면 클릭률 차이를 판정할 수 있습니다.

랜딩 전환율 3%에서 절대 0.6%p를 탐지한다면 16 × 0.03 × 0.97 ÷ 0.006² = 약 12,933입니다. 이번 단위는 클릭입니다.

클릭률 1.5%를 적용하면 12,933클릭을 만드는 데 노출 862,200회가 필요합니다. 클릭률 판정에 필요한 노출의 약 33배입니다.

같은 테스트처럼 보이지만 규모가 완전히 다릅니다. 전환율까지 판정하겠다고 선언하기 전에 이 배수를 확인하십시오.

표본이 적을 때 숫자가 얼마나 흔들립니까

신뢰구간의 폭을 직접 계산해 보면 감이 잡힙니다. 전환율 3%를 기준으로 클릭 수만 바꿔 봅니다.

클릭 1,000회의 구간은 1.94%에서 4.06%입니다

비율의 표준오차는 p 곱하기 1 빼기 p를 표본으로 나눈 뒤 제곱근을 씌운 값입니다. 여기에 1.96을 곱하면 95% 구간의 절반이 됩니다.

클릭 1,000회에서는 ±1.06%p입니다. 구간은 1.94%에서 4.06%까지 벌어집니다.

다른 소재가 4.0%로 나와도 구간이 겹칩니다. 두 소재의 차이를 말할 근거가 없습니다.

표본을 네 배로 늘려야 폭이 절반이 됩니다

클릭 1,000회에서 4,000회로 늘리면 구간 폭은 ±1.06%p에서 ±0.53%p로 줄어듭니다. 표본이 네 배일 때 폭이 절반입니다.

표본을 두 배로 늘려서는 폭이 약 30%밖에 줄지 않습니다. 예산을 조금 더 쓰는 방식으로는 결론에 닿지 못합니다.

그래서 소재 개수를 줄이는 선택이 예산을 늘리는 선택보다 효과가 큽니다. 같은 예산에서 군을 절반으로 줄이면 군당 표본이 두 배가 됩니다.

예산이 소재 개수를 정합니다

많은 테스트가 여기서 어긋납니다. 소재를 여섯 개 만들어 놓고 예산은 그대로 둡니다.

주간 클릭을 소재 수로 나눠 봅니다

주 예산 1,000만원, 클릭 단가 800원을 가정합니다. 주간 클릭은 12,500회입니다.

소재 2개면 소재당 6,250회입니다. 4개면 3,125회, 6개면 2,083회입니다.

전환율 판정에 필요한 12,933회를 채우려면 소재 2개로 2주가 필요합니다. 6개로 나누면 6주를 돌려도 모자랍니다.

소재를 많이 걸면 후보가 많아 보이지만 결론은 하나도 남지 않습니다. 테스트의 목적은 후보 나열이 아니라 판정입니다.

학습 단계도 소재 수를 제한합니다

메타 비즈니스 도움말은 광고 세트가 학습 단계를 벗어나려면 최근 7일 동안 약 50건의 최적화 이벤트가 필요하다고 안내합니다. 이벤트가 부족하면 성과가 안정되지 않습니다.

주간 전환이 100건인 계정이라면 광고 세트는 두 개가 상한입니다. 세 개로 나누면 모두 학습 단계에 머뭅니다.

통계적 표본과 매체 학습 요건 중 더 큰 쪽이 실제 제약입니다. 둘을 함께 계산해 소재 수를 정하십시오.

표의 맨 아래 두 줄이 실무에서 가장 흔한 형태입니다. 소재 수명이 4주를 넘기기 어려운 채널에서는 판정 전에 소재가 소진됩니다.

소재 교체 시점을 정하는 기준은 3초 시청률 기준 교체 주기를 참고하십시오.

조기 종료가 만드는 착시

표본을 채우기 전에 결과를 보고 멈추면 판단이 흔들립니다. 이 문제는 규모가 아니라 절차의 문제입니다.

여러 번 확인할수록 잘못된 판정이 늘어납니다

유의수준 5%는 한 번 판정할 때의 기준입니다. 매일 들여다보며 유의해질 때 멈추면 실제 오류율은 5%보다 커집니다.

확인이 서로 독립이라고 단순 가정하면 5회 확인의 오류 확률은 1에서 0.95의 5제곱을 뺀 값입니다. 계산하면 22.6%입니다.

실제 확인은 앞선 데이터를 포함하므로 완전히 독립은 아닙니다. 그래서 22.6%보다는 낮지만 5%보다는 확실히 큽니다.

차이가 없는 두 소재로도 반복해서 보면 이긴 것처럼 보이는 순간이 옵니다. 그 순간에 멈추면 없는 차이를 채택합니다.

초반 순위는 자주 뒤집힙니다

클릭 300회 시점의 전환율 구간은 ±1.9%p 수준입니다. 3%짜리 소재가 1.1%로도, 4.9%로도 보일 수 있습니다.

이 구간에서 매긴 순위는 다음 주에 뒤집힙니다. 초반 3일 성과로 소재를 끄는 습관이 테스트를 무의미하게 만듭니다.

키워드 판단에서도 같은 문제가 반복됩니다. 클릭 20회로는 판단이 안 되는 이유와 같은 구조입니다.

중단해도 되는 조건은 따로 있습니다

성과가 나빠서 멈추는 것과 사고가 나서 멈추는 것은 다릅니다. 랜딩 오류, 심의 문제, 예산 소진은 즉시 중단 사유입니다.

성과 기반 중단은 사전에 정한 한 지점에서만 합니다. 예를 들어 표본의 절반 시점에 한 번만 확인하고, 그때는 더 엄격한 기준을 적용합니다.

확인 시점을 문서에 적어 두면 논쟁이 사라집니다. 회의에서 매번 다시 정하지 않도록 합니다.

테스트 설계를 문장으로 고정합니다

시작 전에 다섯 줄을 적습니다. 무엇을, 어느 지표로, 어느 차이까지, 며칠 동안, 언제 열어 볼지입니다.

지표는 하나만 고릅니다. 클릭률과 전환율과 객단가를 함께 판정하면 어느 하나도 표본을 채우지 못합니다.

보조 지표는 참고용으로만 기록합니다. 판정 지표를 사후에 바꾸면 결과가 사실상 무의미해집니다.

소재 간 차이도 하나로 제한합니다. 카피와 이미지와 랜딩을 동시에 바꾸면 무엇이 효과를 냈는지 알 수 없습니다.

랜딩까지 함께 바꿨다면 랜딩 속도와 폼 필드 수가 결과에 섞였는지 먼저 확인하십시오.

이긴 소재의 문구는 다른 곳에도 씁니다

테스트로 확인된 문구는 자산입니다. 검색광고 문안, 랜딩 헤드라인, 상세 페이지 첫 문장에 그대로 옮깁니다.

검색과 AI 답변에 노출되는 문서에도 같은 문구를 씁니다. AI 답변 인용 점검과 함께 관리하면 표현이 흩어지지 않습니다.

소재 테스트의 성과는 광고 계정 안에만 남기지 않는 편이 좋습니다. 같은 문구를 여러 접점에 쓰면 표본이 자연스럽게 쌓입니다.

자주 묻는 질문

정리

소재 테스트의 성패는 표본 수 계산에서 갈립니다. 필요한 표본을 먼저 구하고, 예산을 나눠 소재 수를 정하는 순서입니다.

확인 시점을 하나로 고정하십시오. 매일 열어 보는 습관이 없는 차이를 만들어 냅니다.

계정 규모에 맞는 소재 수와 기간을 함께 계산해 보고 싶다면 아래 광고 문의하기 버튼으로 상담을 남겨 주십시오. 현재 클릭량과 전환 건수로 실행 가능한 설계를 정리해 드립니다.