[데이터 분석 심화 개념] A/B 테스트 2️⃣ (A/B 테스트 시작하기)

이번 글은 코드잇 강의를 수강하면서 배운 내용을 주로 하여 정리되어 있습니다. (코드잇 스프린트 데이터 애널리스트 트랙 1기 훈련생)

---

A/B 테스트 시작하기

---

목표 수립하기

목표 수립의 중요성

• 명확한 목표 설정: A/B 테스트에서 달성하고자 하는 목표가 명확해야 실험 결과를 제대로 해석할 수 있습니다.
• 단일 목표 설정: 하나의 실험에서는 하나의 목표만 설정해야 합니다. 여러 목표를 동시에 설정하면 실험 설계와 결과 해석이 복잡해지고 어려워질 수 있습니다.

목표 설정 방법

• 정성적 목표:
  • 정의: 목표를 달성하기 위해 설정된 결과나 행동에 대한 설명입니다.
  • 예시: "사용자 경험을 개선한다", "사용자 만족도를 높인다"와 같은 목표.
  • 주의점: 정성적 목표만 설정하면 각자의 주관에 따라 해석이 달라질 수 있어, 어떤 안이 더 나은지 합의하기 어렵습니다.
• 정량적 목표:
  • 정의: 목표를 달성하기 위해 구체적인 수치나 측정 지표를 설정하는 것입니다.
  • 예시: "전환율을 15% 증가시킨다", "클릭률을 10% 향상시킨다"와 같은 구체적인 목표.
  • 중요성: 정량적 목표는 모두가 합의할 수 있는 객관적인 기준을 제공하며, 실험 결과를 명확히 평가할 수 있게 해줍니다.

목표 수립 시 유의 사항

• 하나의 실험에는 하나의 목표를 설정: 하나의 실험에서 여러 목표를 달성하려고 할 경우, 실험의 설계와 해석이 복잡해지므로 피해야 합니다.
• 정성적 목표와 정량적 목표의 조화: 정성적 목표는 실험의 방향성을 제공하고, 정량적 목표는 구체적이고 측정 가능한 평가 기준을 제공합니다. 이 둘을 함께 고려하여 목표를 설정해야 합니다.

목표 설정 예시

• 정성적 목표: "사용자 경험을 개선한다."
• 정량적 목표: "전환율을 20% 증가시킨다."
• 해석: "사용자 경험을 개선하기 위해, 우리는 전환율을 20% 증가시키는 것을 목표로 한다." 이와 같은 방식으로 정성적 목표와 정량적 목표를 결합하여 설정하면 실험의 방향과 성공 기준이 명확해집니다.

---

문제 정의 및 가설 설정하기

A/B 테스트에서 가설 수립은 실험의 성공 여부를 결정짓는 중요한 단계입니다.

가설은 문제 정의, 원인 분석, 변경 대상 선정, 가설 수립의 과정을 통해 체계적으로 접근할 필요가 있습니다.

 

1. 문제 정의

• 목적: 현재 프로덕트의 목표와 실제 성과 사이의 차이를 발견하고 정의합니다.
• 예시: 예를 들어, "쇼핑몰의 상품 페이지에서 사용자가 '구매하기' 버튼을 클릭하는 비율이 기대치보다 낮다"는 것이 문제 상황입니다.
• 원인 분석: 문제의 원인을 분석하기 위해 사용자 인터뷰와 데이터 분석을 활용합니다.
  • 예시: 사용자 리서치를 통해 "구매하기 버튼이 페이지 아래쪽에 위치해 있어, 사용자가 쉽게 찾지 못했다"는 피드백을 받았다면, 이를 문제의 원인으로 정의할 수 있습니다.

2. 변경 대상 선정

• 목적: 문제를 해결하기 위해 A/B 테스트에서 변경할 대상을 결정합니다.
• 변경 대상 예시:
  • 비즈니스 로직/알고리즘: 예를 들어, 뉴스 피드의 알고리즘을 변경하여 사용자가 더 많은 시간을 플랫폼에서 보내도록 유도하는 실험을 할 수 있습니다.
  • 화면 디자인: 웹사이트의 랜딩 페이지에서 이미지와 텍스트를 변경해, 전환율에 미치는 영향을 평가할 수 있습니다.
  • 마케팅 텍스트/이미지: 이메일 마케팅에서 제목을 다르게 설정하여, 어떤 제목이 더 높은 오픈율을 유도하는지 테스트할 수 있습니다.
• 주의사항: 하나의 테스트에서는 하나의 변경 대상만 테스트해야 합니다. 여러 변경 사항을 동시에 적용하면 어떤 변화가 원인인지 알기 어려워집니다.
  • 예시: 앱의 화면에서 버튼의 색상과 위치를 동시에 변경하기보다는, 먼저 버튼의 색상만 변경하고, 그 다음에 위치를 변경해 테스트합니다.

3. 가설 수립

• 목적: 문제와 변경 대상에 기반해, 구체적이고 검증 가능한 가설을 문장 형태로 수립합니다.
• 가설 형식: "원본 A를 대안 B로 바꾸면 지표 X가 Y하게 변할 것이다."
  • 예시: "구매하기 버튼을 페이지 상단으로 이동시키면 클릭률이 증가할 것이다."
• 통계적 가설 수립: 실험의 목적과 결과 해석을 명확히 하기 위해 귀무가설과 대립가설을 설정합니다.
  • 귀무가설 (Null Hypothesis): 변화가 없을 것이라는 가정. 예: "구매하기 버튼의 위치를 변경해도 클릭률에 차이가 없을 것이다."
  • 대립가설 (Alternative Hypothesis): 변화가 있을 것이라는 주장. 예: "구매하기 버튼을 페이지 상단으로 옮기면 클릭률이 증가할 것이다."
• 통계적 검정: 실험 결과가 우연이 아닌 실제 효과를 나타내는지 판단하기 위해 통계적 검정을 실시합니다. 귀무가설을 기각할 수 있을 만큼 강력한 데이터가 있다면 대립가설이 채택됩니다.

4. 가설 수립 예시: 상품 페이지의 '구매하기' 버튼

• 문제 정의: 쇼핑몰의 상품 페이지에서 '구매하기' 버튼 클릭률이 기대보다 낮다.
• 원인 분석: '구매하기' 버튼이 페이지 아래쪽에 위치해 있어 사용자가 쉽게 찾지 못하는 것일 수 있다.
• 변경 대상 선정: '구매하기' 버튼의 위치를 변경합니다. 기존 A안은 버튼을 페이지 하단에 두고, B안은 페이지 상단으로 이동시킵니다.
• 가설 수립: "구매하기 버튼을 페이지 상단에 위치시키면 클릭률이 증가할 것이다."
• 통계적 가설:
  • 귀무가설: "구매하기 버튼을 상단에 위치해도 클릭률이 변하지 않을 것이다."
  • 대립가설: "구매하기 버튼을 상단에 위치하면 클릭률이 증가할 것이다."

---

지표 설정 및 로그 정의하기

A/B 테스트에서 목표를 정량적으로 측정할 수 있는 지표를 설정하는 것은 실험의 성공 여부를 평가하는 핵심 요소입니다.

이 목차에서는 성공 지표, 보조 지표, 가드레일 지표를 설정하는 방법과 로그 데이터를 수집하고 관리하는 과정을 설명합니다.

 

목표 설정의 중요성

• 목표를 명확히 하고, 이를 측정할 수 있는 지표를 설정하는 것이 중요합니다.
• A/B 테스트에서는 목표 달성을 평가하기 위해 세 가지 주요 지표를 설정해야 합니다.

세 가지 주요 지표

• 성공 지표 (Success Metric):
  • 정의: 프로젝트의 성공을 판단할 수 있는 핵심 지표입니다. 보통 하나만 설정하는 것이 좋습니다. (전환율의 형태로 보는 것이 좋다.)
  • 예시: "웹사이트의 특정 기능 사용률을 높이는 것"을 목표로 하는 프로젝트에서는 "기능 클릭률"을 성공 지표로 설정할 수 있습니다. 단순 이용자 수보다는 클릭률이 실험 효과를 더 잘 반영합니다.
• 보조 지표 (Secondary Metric):
  • 정의: 성공 지표를 보조하며, 실험 결과를 더 깊이 이해하는 데 도움을 주는 지표입니다.(성공 지표가 기대와 다를 때, 보조 지표를 통해 원인을 분석할 수 있음)
  • 예시: "기능 사용 후 다음 단계 전환율"을 보조 지표로 설정하면, 클릭률이 기대와 다를 때 그 이유를 분석할 수 있습니다.
• 가드레일 지표 (Guardrail Metric):
  • 정의: 실험이 예상치 못한 부정적인 영향을 미치는지 확인하기 위한 지표입니다. 가드레일 지표가 나빠지면 실험을 중단할 필요가 있을 수 있습니다.
  • 예시: "사용자 이탈률" 또는 "기능 오류 발생 횟수" 등이 가드레일 지표로 사용될 수 있습니다. 성공 지표가 좋아도 가드레일 지표가 악화되면 실험을 재검토해야 합니다.

로그 데이터 수집 및 관리

• 정의: 사용자의 행동을 추적하고 기록하는 데이터입니다(어떤 사용자가 언제 어떤 화면에서 어떤 행동을 했는지 기록하는 것). 올바른 로그 수집은 정확한 실험 결과 분석을 위해 필수적입니다.
• 로그 정의:
  • 시간: 사용자가 행동한 시간을 기록합니다. 예: "2024년 5월 11일 22시 0분".
  • 사용자 아이디: 고유한 키값으로 사용자를 식별합니다. 예: "사용자12345".
  • 지면 이름: 행동이 발생한 위치를 명시합니다. 예: "메인 화면".
  • 사용자 행동: 사용자의 행동을 기록합니다. 예: "노출", "클릭", "구매".
• 필요한 로그만 기록: 모든 행동을 기록하기보다는 실험에 중요한 데이터만 선별적으로 기록하여 비용을 절감하고 분석의 정확성을 높입니다.

로그 데이터 수집 방법

1. 자체 데이터 수집 시스템 구축:
   • 기업 자체에서 로그 데이터를 수집하고 관리하는 시스템을 구축하는 방법입니다.
   • 장점: 맞춤형 로그 수집이 가능하고, 필요한 데이터를 정확하게 수집할 수 있습니다.
   • 단점: 구축과 유지보수에 비용과 시간이 많이 소요될 수 있습니다.
2. 타사 도구 활용:
   • 구글 애널리틱스, 믹스패널, 앰플리튜드 같은 외부 도구를 활용하여 로그 데이터를 수집하는 방법입니다.
   • 장점: 빠르고 간편하게 설정할 수 있으며, 다양한 분석 기능을 쉽게 활용할 수 있습니다.
   • 단점: 커스터마이징의 한계가 있을 수 있고, 데이터 보안과 소유권 이슈가 있을 수 있습니다.

예시: 웹사이트의 특정 기능 개선

• 성공 지표: 기능 클릭률.
• 보조 지표: 기능 사용 후 다음 단계 전환율.
• 가드레일 지표: 사용자 이탈률.
• 로그 정의:
  • 시간: 행동이 발생한 시점을 기록.
  • 사용자 아이디: 사용자를 식별할 수 있는 고유 값.
  • 지면 이름: 기능이 위치한 화면의 이름을 명시.
  • 사용자 행동: '노출', '클릭', '다음 단계 전환' 등의 행동을 기록.

---

샘플 설정하기

A/B 테스트에서 실험의 신뢰성을 높이기 위해서는 사용자들을 A/B 그룹으로 나누는 방법과 적절한 샘플 사이즈를 결정하는 것이 중요합니다.

 

A/B 그룹으로 사용자를 나누는 방법 (샘플링)

• 샘플링이란?
  • 전체 서비스 이용자 중 일부 사용자를 선택하여 A/B 그룹으로 나누는 과정입니다. 이때 선택된 사용자들을 샘플이라고 하며, 그 수를 샘플 사이즈라고 합니다.
• 샘플링 방법:
  1. 무작위 할당:
     • 정의: 특정 기준 없이 사용자들을 무작위로 A 그룹과 B 그룹에 배정하는 방법입니다.
     • 장점: 작업이 쉽고 편향을 줄일 수 있습니다.
     • 주의사항: 모집단의 특성을 고려하지 않으면 실험 결과에 오류가 생길 수 있습니다.
  2. 계층적 샘플링:
     • 정의: 모집단을 여러 그룹(계층)으로 나눈 다음, 각 그룹에서 무작위로 샘플을 추출하는 방법입니다.
     • 예시: 성별이나 연령대에 따라 그룹을 나누어 샘플을 추출.
     • 장점: 모집단의 특성을 반영하여 더 신뢰할 수 있는 결과를 얻을 수 있습니다.
  3. 클러스터 샘플링:
     • 정의: 모집단을 여러 클러스터로 나눈 다음, 몇 개의 클러스터를 무작위로 선택하여 해당 클러스터 내의 모든 참여자를 같은 그룹으로 배정하는 방법입니다.
     • 예시: 서비스 사용자 등급(예: 기본 회원, 프리미엄 회원)별로 클러스터를 나눔.
     • 장점: 클러스터 단위로 샘플링하기 때문에 실험 관리가 효율적입니다.
• 샘플링 예시 (버튼 클릭 실험 사례):
  • 무작위 할당이 적절한 방법입니다. 사용자들 사이에 큰 구분이 없고, 모든 사용자에게 동등한 기회를 부여하기 때문에 통계적으로 유의미한 결과를 얻을 수 있습니다.

 

샘플 사이즈 설정

• 샘플 사이즈란?
  • 전체 모집단을 대표할 수 있는 충분한 규모의 사용자 수를 의미합니다. 샘플 사이즈가 클수록 실험 결과의 신뢰성이 높아집니다.
• 샘플 사이즈 설정의 중요성:
  • 큰 샘플 사이즈: 두 그룹 간의 작은 차이도 유의미하게 평가할 수 있어 실험 결과의 신뢰성이 높아집니다.
  • 작은 샘플 사이즈: 차이가 크게 나타나야만 유의미한 결과로 볼 수 있습니다.
• 샘플 사이즈 결정 방법:
  1. 기대되는 차이 설정 (MDE, Minimum Detectable Effect):
     • A/B 그룹 간의 결과 차이가 어느 정도 나기를 기대하는지를 먼저 결정합니다.
  2. 샘플 사이즈 계산기 사용:
     • 인터넷에서 제공되는 샘플 사이즈 계산기를 사용하여 간편하게 계산할 수 있습니다.
• 샘플 사이즈 계산 예시:
  • 상황: 방문자 1만 명이 방문하는 웹 페이지에서 클릭률을 목표 지표로 설정.
  • 기존 클릭률: 3%.
  • MDE 설정: 클릭률 차이가 약 28.78% 이상 나기를 기대.
  • 통계적 유의성: 95% (실험 결과가 우연히 일어날 확률 5%).
  • 검정력 (Power): 80% (실제 차이가 있는 경우 이를 발견할 확률).
  • 결과: 유의미한 실험을 위해서는 최소 6,376명의 사용자가 필요함.

 

AB Tasty를 사용하여 샘플 사이즈 계산하기

1. AB Tasty 접속:
   • 먼저, AB Tasty 사이트에 접속합니다. 사이트에서 제공하는 샘플 사이즈 계산기 도구를 이용할 수 있습니다.
2. 실험 설정 정보 입력:
   • 방문자 수: 실험을 수행할 웹 페이지의 총 방문자 수를 입력합니다. 예를 들어, 방문자 수가 5,000명인 경우를 가정해봅시다.
   • 기존 전환율: 현재 A안에서 기대되는 전환율을 입력합니다. 예를 들어, 현재 전환율이 2.5%라고 가정합니다.
   • 최소 감지 가능한 효과 (MDE): 실험에서 의미 있는 차이로 간주할 최소 변화율을 설정합니다. 예를 들어, 전환율 차이가 약 20% 이상 나기를 기대한다고 설정합니다.
3. 통계적 유의성 및 검정력 설정:
   • 통계적 유의성 (Significance Level): 일반적으로 95%로 설정합니다. 이는 실험 결과가 우연히 일어날 확률을 5%로 보는 것을 의미합니다.
   • 검정력 (Power): 보통 80%로 설정합니다. 이는 실제로 차이가 있는 경우 이를 발견할 확률을 의미합니다.
4. 샘플 사이즈 계산:
   • 위의 정보를 모두 입력한 후, AB Tasty의 샘플 사이즈 계산기를 사용하여 필요한 샘플 사이즈를 계산합니다.
   • 예를 들어, 방문자 5,000명, 기존 전환율 2.5%, MDE 20%, 통계적 유의성 95%, 검정력 80%를 기준으로 하면, 필요한 샘플 사이즈가 약 3,200명으로 계산됩니다.
5. 결과 해석:
   • 계산된 샘플 사이즈는 실험에서 유의미한 결과를 얻기 위해 필요한 최소 사용자 수를 나타냅니다. 이 경우, 실험이 의미 있으려면 A/B 그룹 각각에 3,200명 이상의 사용자가 포함되어야 합니다.

---

A/B 테스트 설계서 작성 가이드

A/B 테스트를 시작하기 전에 실험 설계서를 작성하는 것은 필수적입니다. 체계적인 설계를 통해 신뢰할 수 있는 결과를 얻을 수 있으며, 팀원들과 함께 작성하면서 실험의 모든 요소를 빠짐없이 고려할 수 있습니다. 이를 통해 실험의 목표와 방법에 대해 모든 참여자가 명확히 이해할 수 있습니다.

 

1. 실험 배경 및 가설

• 배경:
  • 실험을 진행하게 된 배경을 작성합니다. 실험의 출발점을 모르는 사람도 이해할 수 있도록 명확히 설명해야 합니다.
• 문제 정의:
  • 실험을 통해 해결하고자 하는 문제를 정의합니다. 문제 정의는 팀원들이 실험의 필요성에 공감할 수 있도록 작성해야 합니다.
  • 예: "예약 버튼 클릭률이 목표 대비 낮고, UX 리서치에서 버튼이 눈에 잘 띄지 않는다는 피드백을 받았다."
• 목표:
  • 실험을 통해 달성하고자 하는 정량적 또는 정성적 목표를 명확히 정의합니다. 하나의 실험에서는 하나의 목표에 집중하는 것이 중요합니다.
  • 예: "예약 버튼의 클릭률을 높인다."
• 가설:
  • 실험을 통해 검증하고자 하는 가설을 명확하게 정의합니다. 가설은 데이터로 검증 가능한 형태로 작성해야 합니다.
  • 예: "예약 버튼을 상단으로 이동시키면 클릭률이 증가할 것이다."

2. 실험 계획

• 실험 대상:
  • 실험에 참여할 사용자를 정의합니다. 특정 유입 채널, 지역, 운영 체제 등 제약 조건이 있으면 명시합니다.
  • 예: "코드비앤비 사이트 이용자 전체."
• 그룹 분배 방식:
  • 실험 그룹을 어떻게 배분할지 결정합니다. 무작위로 배분할지, 일정 비율로 나눌지 명시합니다.
  • 예: "무작위 할당."
• 적정 샘플 사이즈:
  • 샘플 사이즈 계산기를 사용해 실험에 필요한 최소한의 샘플 사이즈를 결정합니다.
  • 예: "방문자 수 10,000명, 기존 전환율 3%, MDE 28.78%를 기준으로, 필요한 샘플 사이즈는 6,376명."
• 실험 기간:
  • 실험 시작일과 종료일을 설정합니다. 일반적으로 최소 1주일 이상 설정하며, 상황에 따라 조기 종료나 연장될 수 있습니다.
  • 예: "20XX.01.20~20XX.01.26 (일주일)."
• 실험 중간 결과 공유 일정:
  • 실험 중간 결과를 논의할 일정을 미리 설정해 두는 것이 좋습니다.
• 그룹별 시안:
  • 각 그룹별로 실험할 기능, 노출 영역, UI, 로직 등을 구체적으로 적고, 시안을 첨부합니다.

3. 성과 판단 지표

• 성공 지표:
  • 실험의 성공 여부를 판단할 지표를 정의합니다. 어느 정도의 지표 변화가 성공으로 간주될지 기준을 설정합니다.
  • 예: "노출 대비 버튼 클릭률."
• 보조 지표:
  • 성공 지표 외에 함께 모니터링해야 할 지표를 설정합니다.
  • 예: "클릭 대비 구매 전환율."
• 가드레일 지표:
  • 실험 중 발생할 수 있는 부정적인 영향을 방지하기 위해 지켜야 하는 지표를 설정합니다. 가드레일 지표에 악영향이 발생하면 실험 중단 여부를 논의해야 합니다.
  • 예: "CS 인입 수."

4. 분석 시 유의 사항

• 특이사항 기록:
  • 실험 기간 동안 시즈널 이벤트, 공휴일, 특이 배포 사항 등 분석에 영향을 줄 수 있는 요소를 기록합니다.
  • 예: "실험 첫날 1시간 동안 로그인 장애 발생 → 해당 장애 시간대는 제외하고 분석 필요."

---

A/B 테스트 플랫폼 소개

효과적인 실험은 제품과 서비스의 개선에 중요한 역할을 합니다. 이를 빠르고 효율적으로 수행할 수 있도록 도와주는 도구가 바로 실험 플랫폼입니다. 실험 플랫폼은 실험 설계부터 결과 분석까지의 과정을 간소화하며, 실시간으로 결과를 모니터링할 수 있는 기능을 제공합니다.

 

실험 플랫폼의 주요 장점

1. 일관된 사용자 분류:
   • A/B 그룹에 배분되는 사용자를 플랫폼 내에서 일관되게 관리하고 분류할 수 있습니다.
2. 실시간 설정 변경:
   • 실험의 중지, 종료, 실험군의 비율 조정을 실시간으로 배포 없이 설정할 수 있어 유연한 실험 관리가 가능합니다.
3. 실시간 결과 모니터링:
   • 실험 결과와 통계적 유의성을 데이터 추출 과정 없이 플랫폼 대시보드에서 실시간으로 확인할 수 있습니다.

자사 실험 플랫폼 구축

 

일부 기업은 자체 실험 플랫폼을 구축하여 실험을 진행합니다. 이러한 사례는 기업의 기술 블로그에서 확인할 수 있습니다.

그러나, 자체적으로 실험 플랫폼을 만들고 운영하는 데는 많은 리소스가 필요합니다. 따라서 외부에서 제공하는 소프트웨어를 사용하는 것도 좋은 선택입니다.

 

대표적인 실험 플랫폼

1. Hackle
   • 사용 가이드: 핵클 서비스 가이드
   • 특징:
     • 쿠팡 출신 개발자, 데이터 분석가, PM들이 만든 실험 플랫폼으로, 국내 스타트업에서 많이 사용됩니다.
     • A/B 테스트 외에도 데이터 분석, 기능 플래그 기능을 제공합니다.
2. Amplitude
   • 사용 가이드:
     • Amplitude 실험 시작하기 (영문)
     • 새로운 실험 만들기 (영문)
   • 특징:
     • Amplitude는 실험뿐만 아니라 다양한 데이터 분석과 시각화 기능을 제공하는 플랫폼입니다.

---

A/B 테스트 진행하기

이번 목차에서는 A/B 테스트를 시작하기 전에 마지막으로 설정해야 하는 사항들과 실험 중간에 주의해야 할 모니터링 포인트를 정리했습니다. 이를 통해 실험을 계획대로 진행하고 신뢰할 수 있는 결과를 얻을 수 있습니다.

 

실험 기간 설정

• 기간 설정: 요일에 따라 결과가 달라질 수 있으므로 최소 일주일 이상 실험을 진행하는 것이 좋습니다.
• 시즈널 이벤트 고려: 특정 시즌 이벤트나 주요 배포 일정이 있는지 확인하여 실험 기간을 설정합니다.
• 동시 실험 주의: 같은 페이지에서 여러 실험이 겹치지 않도록 주의합니다.
• 예시: 코드 BNB의 예약 버튼 실험에서는 주간 방문자 수가 10만 명이고, 클릭률이 10%일 때 5.9만 명의 샘플이 필요합니다. 요일 변동성을 최소화하기 위해 최소 일주일 이상의 실험 기간을 설정합니다.

실험 플랫폼 연동

• 실험 플랫폼 활용: Amplitude, Hackle과 같은 실험 플랫폼을 사용하여 실험을 자동화하고 실시간으로 모니터링합니다.
• 자체 서버 활용: 외부 플랫폼을 사용하지 않는 경우, 자체 서버 API를 통해 실험을 진행할 수 있습니다.

실험 배포 및 모니터링

• 사용자 그룹 배정 확인: 사용자들이 계획대로 실험 그룹에 잘 할당되었는지 확인합니다. 여러 실험이 진행 중일 때, 한 사용자가 중복 참여하지 않도록 주의합니다.
• 내부 직원 데이터 필터링: 실험 결과에 영향을 줄 수 있는 내부 직원들의 데이터는 필터링합니다.
• 데이터 수집 상태 확인: 실험 첫날부터 데이터가 제대로 수집되고 있는지 모니터링합니다. 데이터 수집에 문제가 있다면 즉시 조치가 필요합니다.
• 성공 지표의 일관성 유지: 실험 중간에 성공 지표를 변경하지 않고, 사전에 계획한 대로 실험을 진행합니다.
• 가드레일 지표 모니터링: 가드레일 지표에 이상이 발생할 경우, 실험을 중단할지 논의합니다. 예를 들어, 사용자 이탈률이 급증할 경우 실험을 중단할 수 있습니다.
• 샘플 사이즈 충족 여부 확인: 실험 기간 동안 필요한 샘플 사이즈가 충족될 수 있는지 확인합니다. 데이터 수집이 예상보다 느리다면 실험 기간을 연장하거나 보조 지표로 의사결정을 할 수 있습니다.

예기치 않은 외부 요인 고려

• 실험 기간 연장 시: 실험 기간을 연장하면 계절, 마케팅 캠페인 등의 외부 요인이 영향을 미칠 수 있으므로 주의해야 합니다.

---

A/B 테스트를 통해 제품이나 서비스를 개선하려면 체계적인 목표 설정과 신중한 실험 설계가 필수적입니다. 이번 글에서는 A/B 테스트의 시작 단계부터 실험 관리 방법까지 살펴보았습니다. 다음 글에서는 A/B 테스트 결과를 어떻게 해석하고 이를 바탕으로 어떤 결정을 내려야 하는지에 대해 다룰 예정입니다.

감사합니다.

 

---

출처 및 참고자료 : 코드잇 사이트 강의 'A/B 테스트' https://www.codeit.kr/topics/ab-test?version=1