[데이터 분석 심화 개념] A/B 테스트 3️⃣ (A/B 테스트 결과 분석하기)

이번 글은 코드잇 강의를 수강하면서 배운 내용을 주로 하여 정리되어 있습니다. (코드잇 스프린트 데이터 애널리스트 트랙 1기 훈련생)

---

A/B 테스트 결과 분석하기

---

결론 도출하기(결과 분석 및 성과 판단 가이드)

A/B 테스트 실험 기간이 끝나면 A 그룹과 B 그룹 간의 성과를 평가해야 합니다. 이 과정에서는 각 그룹별로 설정된 성공 지표를 비교하고, 그 차이가 통계적으로 유의미한지 판단하는 것이 중요합니다.

 

1. 전환율 계산

• 전환율 확인: 각 그룹에 노출된 사용자 수를 분모로, 총 이벤트를 일으킨 사용자 수를 분자로 하여 전환율을 계산합니다.
  • 예: 클릭 수 대신 클릭 전환율, 주문 수 대신 주문 전환율 등 상대적인 전환율을 확인합니다.

2. 개선율 계산

• 그룹 간 비교: 그룹 A 대비 그룹 B의 성과 개선율을 계산합니다.
  • 계산식: (B 그룹 전환율 - A 그룹 전환율) / A 그룹 전환율 * 100으로 백분율로 개선율을 확인합니다.

3. 통계적 유의성 검증

• p-값 (p-value) 검토:
  • 정의: p-값은 실험 결과가 우연히 발생할 확률을 나타내며, 낮을수록 결과의 신뢰성이 높습니다.
  • 기준: 일반적으로 p-값이 유의 수준 5% (0.05)보다 작으면 통계적으로 유의미하다고 판단합니다.
  • 해석:
    • p-값 < 0.05: 귀무가설을 기각하고 대립 가설을 채택합니다. 이는 실험 결과가 통계적으로 유의미하다는 의미입니다.
    • p-값 ≥ 0.05: 귀무가설을 채택하고 대립 가설을 기각합니다. 이는 실험 결과가 우연히 발생했을 가능성이 높다는 의미입니다.
• 신뢰 구간 검토:
  • 정의: 신뢰 구간은 새로운 방법이 기존 방법보다 얼마나 나은지를 보여주는 범위를 나타냅니다.
  • 해석:
    • 신뢰 구간이 0을 포함하지 않으면 통계적으로 유의미한 차이가 있다고 볼 수 있습니다.
    • 신뢰 구간이 0을 포함하면 통계적으로 유의미하지 않다고 판단합니다.

4. SurveyMonkey A/B 테스트 통계 유의성 계산기를 사용한 전환율 계산

1. 사이트 방문: SurveyMonkey A/B 테스트 통계 유의성 계산기에 접속합니다.
2. 데이터 입력:
   • 그룹 A: 방문자 수와 전환된 사용자 수를 입력합니다.
   • 그룹 B: 방문자 수와 전환된 사용자 수를 입력합니다.
   • 예: 그룹 A에서 방문자 5,000명 중 200명이 전환되었고, 그룹 B에서 방문자 5,000명 중 250명이 전환되었다면 각각 입력합니다.
3. 결과 확인:
   • 계산기가 자동으로 전환율, 개선율, p-값을 계산해줍니다.
   • 해석: p-값이 0.05보다 작으면 통계적으로 유의미한 결과라고 판단할 수 있습니다.

5. 실험 결과 해석 예시

1. 유의미한 결과 사례:
   • 성과: B 그룹의 전환율이 A 그룹보다 약 29.93% 높음.
   • p-값: 0.01 (유의 수준 0.05보다 작음) → 통계적으로 유의미.
   • 결론: B 그룹이 더 나은 성과를 보여 대립 가설을 채택하고, B 그룹을 100% 배포.
2. 유의미하지 않은 결과 사례:
   • 성과: C 그룹이 A 그룹보다 약 5% 개선됨.
   • p-값: 0.2 (유의 수준 0.05보다 큼) → 통계적으로 유의미하지 않음.
   • 결론: 두 그룹 간의 차이가 통계적으로 유의미하지 않아 가설 검증 실패. 원복 후 재실험 고려.

6. 최종 결론 도출

• 위너 그룹 결정 시:
  • 성과가 더 나은 위너 그룹이 결정된 경우, 해당 그룹을 100% 배포합니다.
• 위너 그룹이 없는 경우:
  • 가설이 검증되지 않았을 때, 원복 후 재실험 여부를 논의합니다.
  • 유의미한 차이가 없는 경우, 이는 사용자들이 특정 선택을 선호하지 않는다는 의미로 해석할 수 있으며, 유저에 대한 중요한 인사이트를 제공합니다.

---

결과 해석 시 주의 사항

A/B 테스트를 해석할 때 예상치 못한 상황이나 복잡한 케이스가 발생할 수 있습니다. 이번 목차에서는 이러한 상황에서 주의해야 할 점들을 정리해 보았습니다.

 

1. 초두 효과와 신규 효과에 주의

• 초두 효과:
  • 사용자가 기존에 익숙한 A안을 더 선호하여 초기 지표가 높게 나오는 현상입니다. 이로 인해 A안이 실험 초기에 더 높은 성과를 보일 수 있습니다.
• 신규 효과:
  • B안에 대한 호기심으로 인해 초기 지표가 높게 나오는 현상입니다. 그러나 시간이 지나면서 B안의 성과가 급격히 감소할 수 있습니다.
• 대처 방법:
  • 처음 사용자를 대상으로 실험: 처음 프로덕트를 사용하는 사용자만을 대상으로 실험하여 이 효과들을 차단할 수 있습니다.
  • 장기간 모니터링: 지표 변화가 일시적인지 아닌지를 파악하기 위해 일정 기간 동안 지표를 지속적으로 모니터링합니다.

2. 비슷한 성과 지표의 해석

• 보조 지표 분석:
  • 성공 지표가 비슷한 경우, 노출 대비 장바구니 담기율, 페이지 체류 시간 등의 보조 지표를 분석하여 유의미한 차이를 발견할 수 있습니다.
• 세그먼트 분석:
  • 사용자를 세분화하여 특정 세그먼트별로 차이를 분석합니다.
  • 예시:
    • 구매 빈도별 분석: 구매 빈도가 높은 고객은 더 높은 전환율을 보일 수 있습니다.
    • 연령대별 분석: 젊은 층은 새로운 기능에 더 빠르게 반응할 수 있으며, 나이 든 층은 변화를 덜 선호할 수 있습니다.
    • 디바이스별 분석: 모바일 사용자와 PC 사용자를 나누어 분석하여, 각 디바이스에 맞는 최적의 해결책을 도출할 수 있습니다.
• 활용 방법:
  • 특정 세그먼트에 대해 긍정적인 반응이 있었다면, 해당 세그먼트에 맞게 기능을 배포하거나 타겟화된 새로운 해결책을 도출할 수 있습니다.

3. 실험의 안정성 확인

• AA 테스트:
  • A/B 테스트 전후에 AA 테스트를 진행하여 실험 환경이 안정적인지 확인합니다.
  • AA 테스트의 목적: 아무런 변화를 주지 않았을 때, 두 집단에서 동일한 결과가 나오는지 확인합니다. 이를 통해 실험 환경의 신뢰성을 확보할 수 있습니다.
  • 비유: 체중계의 0점을 조정하는 것과 같은 원리로, 실험의 신뢰성을 검증하는 과정입니다.
• 활용 방법:
  • AA 테스트로 실험 환경을 점검한 후에 A/B 테스트를 진행하면, 더 정확하고 신뢰할 수 있는 결과를 얻을 수 있습니다.

---

A/B 테스트 결과 분석 보고서 작성 가이드

A/B 테스트가 끝난 후, 실험 결과를 분석하고 보고서를 작성하는 것은 매우 중요합니다. 보고서는 실험에 참여하지 않은 사람들도 이해할 수 있도록 실험의 개요부터 결과까지 명확하게 기록해야 합니다. 이를 통해 팀원들과 유관 부서에 실험 내용을 체계적으로 공유하고, 의사 결정의 참고 자료로 활용할 수 있습니다.

 

1. 실험 개요

• 배경:
  • 실험을 진행하게 된 배경을 설명합니다.
  • 예: "사용자 경험을 개선하기 위해 예약 버튼 위치를 변경하는 프로젝트가 필요했음."
• 문제 정의:
  • 실험을 통해 해결하고자 하는 문제를 명확히 정의합니다.
  • 예: "데이터 분석 결과, 예약 버튼 클릭률이 목표 대비 낮아 클릭률을 높일 필요가 있음."
• 목표:
  • 실험을 통해 달성하고자 하는 목표를 정의합니다.
  • 예: "예약 버튼 클릭률을 15% 이상으로 상승시키는 것."
• 가설:
  • 검증하고자 하는 가설을 명확히 정의합니다.
  • 예: "예약 버튼을 상단에 위치시키면 클릭률이 증가할 것이다."
• 실험 타임라인:
  • 실험이 진행된 기간과 일정을 기록합니다.
  • 예: "20XX.2.11 ~ 20XX.2.18 (7일간 진행)."

A그룹	B그룹
변경 사항	-
사용자 트래픽	50%

 

2. 실험 결과 분석

• 그룹별 지표:
  • 각 그룹별로 성공 지표, 모니터링 지표, 가드레일 지표를 비교하고 분석합니다.
  • 목표치와 비교하여 실제 성과를 평가합니다.

A그룹	B그룹	A그룹 대비 B그룹의 개선율
성공 지표	8.00%	10.40%
모니터링 지표	25.3%	26.7%
가드레일 지표	0건	0건

• 일별 지표 트렌드:
  • 실험 기간 동안의 일별 지표 트렌드를 그래프로 작성하여 동일한 트렌드가 유지되는지, 시간이 지남에 따라 B그룹의 지표가 상승하는지 확인합니다.
  • 예: "일별 지표를 보면 B그룹의 클릭률이 실험 기간 내내 A그룹보다 높았으며, 시간이 지날수록 B그룹의 지표가 더욱 상승함."
• 결과 분석 내용:
  • 결과에 대한 원인 및 추가 분석 내용을 작성합니다.
  • 예: "성공 지표가 약 30% 개선된 것으로 보아, B그룹의 클릭률 개선 효과가 뚜렷함. 그러나 예약 전환율은 비교적 적은 개선을 보임."

3. 결론 도출

• 후속 과제:
  • 실험 종료 후의 계획을 작성합니다. 실험 종료, 연장, 2차 실험 여부 등을 결정하고, 어떤 그룹을 최종 반영할지 작성합니다.
  • 예: "실험을 종료하고, B그룹의 설정을 최종 반영하여 100% 배포."
• 향후 로드맵:
  • 이후 실험에서 얻은 인사이트를 바탕으로 진행할 백로그가 있다면 작성합니다.
  • 예: "추가적인 클릭률 상승을 위해 버튼 문구와 디자인에 대한 2차 A/B 테스트를 진행할 계획."

---

A/B 테스트의 한계

A/B 테스트는 데이터 기반 의사결정을 돕는 중요한 도구지만, 모든 문제를 해결해주지는 않습니다. A/B 테스트의 한계를 이해하지 못하면 결과에 과도하게 의존하게 되어 잘못된 결론을 내릴 수 있습니다. 따라서, A/B 테스트의 한계를 인지하고 이를 보완할 수 있는 다양한 방법을 함께 사용하는 것이 중요합니다.

• 조건 안에서 최적의 결과만 찾을 수 있음:
  • A/B 테스트는 주어진 조건 내에서 더 나은 선택을 도출하는 도구입니다. 하지만 처음 설정한 A안과 B안 자체가 최선이 아니었다면, 테스트 결과도 큰 의미를 가지지 못할 수 있습니다.
  • 한계: 전혀 새로운 아이디어를 도출하거나 큰 그림을 그리는 데에는 한계가 있습니다.
  • 보완 방법:
    • 테스트 설계 신중: 조건과 변수를 신중하게 설정하고 정의하는 것이 중요합니다.
    • 다른 방법들과 병행: 로그 분석, 사용성 테스트, 유저 인터뷰 등 보완적인 방법들을 함께 사용하여 더 종합적인 결정을 내릴 수 있습니다.
• 결과의 시한성:
  • A/B 테스트의 결과는 테스트가 진행된 시점에서만 유효할 수 있습니다. 시간이 지나면서 계절 변화, 시장 상황 변화, 사용자 층의 변화 등으로 인해 결과가 달라질 수 있습니다.
  • 한계: 현재의 결과가 미래에도 계속 유효하다는 보장이 없습니다.
  • 보완 방법:
    • 지속적인 모니터링: 시간이 지나도 결과가 유효한지 주기적으로 재평가하고, 필요시 재실험을 통해 일시적인 현상인지 확인합니다.

보완 방법을 통한 한계 극복

• 실험 설계 단계의 신중함:
  • 실험 설계 단계에서 조건과 변수를 명확하고 구체적으로 설정합니다. 이는 A/B 테스트가 효과적으로 작동하기 위해 필수적입니다.
• 다양한 분석 방법 활용:
  • A/B 테스트 결과에만 의존하지 말고, 로그 분석, 사용자 설문조사, 사용성 테스트 등을 함께 활용하여 더 넓은 관점에서 문제를 분석합니다.
• 결과의 재평가:
  • A/B 테스트 결과가 일시적인 현상인지 확인하기 위해 주기적으로 실험을 재평가하고, 필요시 재실험을 통해 지속적인 유효성을 확인합니다.

---

A/B 테스트는 데이터 기반 의사결정에 있어 강력한 도구지만, 그 결과에만 의존하기보다는 다양한 분석 방법을 함께 활용하는 것이 중요합니다. 또한 실험 결과는 일시적인 현상일 수 있으므로 지속적인 모니터링과 재평가가 필요합니다. 이를 통해 최선의 결정을 내리고, 더욱 신뢰성 있는 성과를 도출할 수 있습니다.

감사합니다.

---

출처 및 참고자료 : 코드잇 사이트 강의 'A/B 테스트' https://www.codeit.kr/topics/ab-test?version=1