증분 효과 검증은 광고를 끄는 집단을 만들어 차이를 재는 방법입니다. 4주 테스트에서 리프트 8.8%가 관측돼도 신뢰구간이 마이너스 0.4%에서 18%까지 벌어지면 판정하지 못합니다. 기간을 8주로 늘리면 같은 리프트에서 구간이 2.3%에서 15.3%로 좁혀집니다. 설계 절차, 최소 기간 계산, 중단 기준을 다룹니다.

증분 효과는 무엇을 재는 숫자입니까

증분 효과는 광고를 집행했을 때의 결과에서 집행하지 않았을 때의 결과를 뺀 차이입니다.

매체 리포트가 보고하는 전환은 이 차이가 아닙니다. 광고를 보지 않았어도 구매했을 사람까지 포함합니다.

두 숫자의 간격이 예산 판단을 좌우합니다. 간격을 재려면 광고를 끈 집단이 있어야 합니다.

매체 보고 기여와 증분은 다른 값입니다

한 캠페인에서 전체 전환 1,040건 중 매체가 396건을 자기 기여로 보고했다고 가정합니다. 비중으로는 38%입니다.

같은 기간 광고를 끈 대조 지역의 전환이 956건이라면 차이는 84건입니다. 1,040건 기준으로 8.1%, 956건 기준으로 8.8%입니다.

38%와 8.8%는 같은 캠페인의 두 얼굴입니다. 예산 증액 판단은 뒤쪽 숫자로 해야 합니다.

설계 방식 세 가지를 먼저 고릅니다

검증 방식은 무엇을 나눌 수 있느냐로 결정됩니다. 사용자, 지역, 시점 중 하나를 나눕니다.

사용자 홀드아웃은 매체 안에서 나눕니다

같은 타겟 안에서 일부 사용자에게만 광고를 노출하지 않는 방식입니다. 매체가 제공하는 기능을 쓰면 무작위 배정이 자동으로 이뤄집니다.

장점은 설계가 간단하다는 점입니다. 단점은 그 매체 안에서만 유효하다는 점입니다.

다른 매체가 같은 사용자에게 계속 노출되면 대조군이 완전한 무노출 상태가 아닙니다. 결과는 해당 매체의 추가 기여로만 해석합니다.

지역 분할은 매체를 넘어 비교합니다

시도나 시군구 단위로 집행 지역과 미집행 지역을 나눕니다. 온라인과 오프라인 매체를 함께 검증할 때 쓰는 방식입니다.

지역을 짝지을 때는 사전 기간 6주의 주간 전환 추이가 비슷한 곳끼리 묶습니다. 두 지역의 상관계수가 0.9 이상이면 짝으로 씁니다.

전국 17개 시도라면 8쌍을 만들고 남은 하나는 제외합니다. 각 쌍에서 무작위로 한쪽을 대조군으로 고릅니다.

시점 분할은 켜고 끄기를 반복합니다

같은 지역에서 1주 켜고 1주 끄기를 여러 번 반복합니다. 지역을 나눌 만한 규모가 아닐 때 씁니다.

계절성과 요일 효과에 취약합니다. 최소 6회 이상 반복해야 추세와 효과를 구분할 수 있습니다.

광고 노출이 끊긴 뒤에도 며칠간 전환이 이어집니다. 끈 주간의 앞 3일은 분석에서 제외하는 편이 안전합니다.

세 방식 모두 대조군이 오염되면 결과가 0에 가까워집니다. 대조군 지역에 오프라인 매체나 자연 검색 캠페인이 남아 있는지 먼저 확인하십시오.

필요한 표본과 기간을 계산합니다

여기가 대부분의 검증이 실패하는 지점입니다. 기간을 감으로 정하면 결과가 나와도 해석하지 못합니다.

표본 수 공식으로 군당 인원을 구합니다

두 집단의 전환율을 비교할 때 군당 필요한 표본은 다음 근사식으로 구합니다. 검정력 80%, 유의수준 5% 양측 기준입니다.

군당 표본 = 16 × p × (1 − p) ÷ 절대 차이의 제곱입니다. p는 기저 전환율입니다.

기저 전환율 2%에서 상대 10%, 곧 절대 0.2%p를 탐지한다고 가정합니다. 16 × 0.02 × 0.98 ÷ 0.002² = 78,400명입니다.

두 군을 합치면 156,800명입니다. 주간 도달이 4만명이면 4주가 걸립니다.

탐지하려는 차이를 절반으로 줄이면 표본은 네 배가 됩니다. 분모가 제곱이기 때문입니다.

신뢰구간이 0을 걸치면 판정하지 못합니다

앞의 예시로 돌아갑니다. 테스트 지역 1,040건, 대조 지역 956건, 차이 84건입니다.

두 건수 차이의 표준오차는 두 건수의 합에 제곱근을 씌운 값으로 근사합니다. 1,040 더하기 956은 1,996이고, 제곱근은 약 45건입니다.

95% 신뢰구간은 84건에서 1.96 곱하기 45건, 곧 88건을 더하고 뺀 범위입니다. 마이너스 4건에서 172건까지 벌어집니다.

비율로 옮기면 마이너스 0.4%에서 18.0%입니다. 리프트가 8.8%로 보여도 효과가 없다는 가능성을 배제하지 못합니다.

기간을 두 배로 늘리면 구간이 좁아집니다

같은 조건에서 8주를 돌리면 건수가 대략 두 배가 됩니다. 2,080건과 1,912건, 차이 168건입니다.

표준오차는 3,992의 제곱근인 약 63건입니다. 1.96을 곱하면 124건입니다.

신뢰구간은 44건에서 292건, 비율로는 2.3%에서 15.3%입니다. 0을 넘지 않으므로 효과가 있다고 판정할 수 있습니다.

차이는 커지지 않았습니다. 기간이 늘어 오차가 줄었을 뿐입니다.

최소 기간은 윈도에 2주를 더합니다

광고를 끈 직후에도 이전 노출의 전환이 며칠 이어집니다. 어트리뷰션 윈도만큼은 잔여 효과 구간입니다.

7일 윈도면 최소 3주, 30일 윈도면 최소 6주가 하한입니다. 윈도 설정 기준을 먼저 확정한 뒤 기간을 잡으십시오.

여기에 표본 수 계산 결과를 겹쳐 더 긴 쪽을 택합니다. 둘 중 짧은 쪽을 고르면 결과를 쓰지 못합니다.

검증의 진짜 비용을 계산합니다

홀드아웃의 비용은 도구 사용료가 아닙니다. 끄는 동안 발생하지 않은 매출입니다.

월 광고비 5,000만원에서 20%를 4주 동안 끈다고 가정합니다. 미집행 광고비는 1,000만원입니다.

증분 기준 CPA를 20만원으로 잡으면 유예된 주문은 약 50건입니다. 객단가 15만원이면 750만원의 매출이 뒤로 밀립니다.

이 금액을 먼저 계산해 두지 않으면 테스트는 2주차에 중단됩니다. 성과가 떨어지는 것처럼 보이기 때문입니다.

비용을 미리 승인받고, 중단 조건을 문서로 정해 두십시오. 중단 조건은 결과가 나쁠 때가 아니라 운영 사고가 났을 때만 발동합니다.

설계에서 보고까지 다섯 단계

결과를 예산으로 옮기는 방법

검증의 산출물은 증분 CPA입니다. 미집행 광고비를 증분 전환 수로 나눈 값입니다.

앞의 예시에서 4주간 테스트 지역 광고비가 1,000만원이고 증분이 84건이라면 증분 CPA는 약 11만 9,000원입니다. 매체 보고 CPA와 비교하면 얼마나 낙관적이었는지 보입니다.

이 값을 분기 매체 믹스 점검의 입력값으로 씁니다. 채널별 증분 CPA가 있으면 예산 이동의 근거가 생깁니다.

브랜드 검색량이 함께 빠지는지 확인하려면 4주 홀드아웃으로 브랜드 검색을 재는 방법을 함께 보십시오. 두 검증은 같은 기간에 묶어 돌릴 수 있습니다.

계측 자체가 새고 있으면 검증 결과도 흔들립니다. 전환 계측 점검을 사전 기간에 끝내 두십시오.

자주 묻는 질문

정리

증분 검증은 통계 지식보다 설계 순서의 문제입니다. 탐지 목표를 숫자로 정하고, 표본과 기간을 역산하고, 비용을 미리 승인받는 순서입니다.

신뢰구간을 함께 보고하십시오. 리프트 하나만 적힌 보고서는 판단 근거가 되지 못합니다.

채널별 증분 검증 설계를 함께 잡아 보고 싶다면 아래 광고 문의하기 버튼으로 상담을 남겨 주십시오. 집행 규모에 맞는 홀드아웃 비율과 기간을 계산해 드립니다.