데이터 품질 관리: 좋은 데이터의 기준

데이터 분석을 하다 보면 모델 성능이나 알고리즘에만 집중하기 쉽습니다.

하지만 실제 분석에서는 데이터 품질 자체가 결과를 좌우하는 경우가 훨씬 많습니다.

아무리 좋은 모델을 써도, 데이터가 엉망이면 결과는 믿을 수 없습니다.

그래서 오늘은 데이터 품질 관리에 대해 정리해보려 합니다.

---

 

데이터 품질 관리란?

데이터 품질 관리는 말 그대로 데이터가 얼마나 정확하고, 일관되고, 완전한지를 관리하는 과정입니다.

• 결측치(Missing Values)
• 이상치(Outliers)
• 중복(Duplicates)
• 불일치(Inconsistencies)

이런 문제들을 발견하고 처리하는 게 기본입니다.

데이터 품질이 낮으면 분석 결과도 왜곡되고, 잘못된 의사결정으로 이어질 수 있습니다.

---

주요 문제와 처리 방법

1. 결측치 (Missing Values)

• 원인: 설문 응답 누락, 센서 오류, 로그 수집 실패
• 처리 방법:
  • 삭제: 결측치가 적을 때 단순히 해당 행 제거
  • 대체: 평균, 중앙값, 최빈값으로 채우기
  • 모델링: KNN imputation, 회귀 대체 같은 기법 사용

2. 이상치 (Outliers)

• 원인: 입력 오류, 비정상적 이벤트
• 탐지 방법:
  • 통계적 기준 (Z-score, IQR)
  • 시각화 (박스플롯, 산점도)
• 처리 방법:
  • 제거 or 변환(로그 변환)
  • 비즈니스적으로 의미 있는 경우는 오히려 따로 분석

3. 중복 데이터 (Duplicates)

• 원인: 로그 중복 저장, 여러 시스템 간 병합
• 처리 방법:
  • ID 기반 중복 제거
  • 주요 피처 비교 후 대표 값만 남기기

4. 불일치와 오류 (Inconsistencies)

• 예: 성별 데이터에서 “M/F/남/여”가 섞여 있는 경우
• 처리 방법: 카테고리 통일, 표준 코드 정의

---

데이터 품질 지표

데이터 품질을 단순히 “좋다/나쁘다”로 평가하기보다, 몇 가지 지표로 관리할 수 있습니다.

• 정확성(Accuracy): 값이 실제와 얼마나 일치하는가
• 완전성(Completeness): 결측치가 얼마나 적은가
• 일관성(Consistency): 같은 데이터가 서로 충돌하지 않는가
• 적시성(Timeliness): 데이터가 최신성을 유지하는가

실제로 기업에서는 이런 지표를 모니터링하면서 품질 관리 프로세스를 운영하기도 한다고 합니다.

---

사례

• 헬스케어: 환자 데이터에 결측치가 많으면 모델이 잘못된 진단을 내릴 수 있음 → 데이터 수집 단계부터 엄격한 검증 필요
• 금융: 거래 로그 중복 → 잘못된 매출 집계, 이상거래 탐지 모델의 오류
• 서비스 로그: 이벤트 이름 불일치 → 사용자 행동 분석에 혼선 발생

제가 예전에 로그 데이터를 다룰 때도, 사용자 행동 이벤트가 버전별로 이름이 다르게 기록되어 있어서, 그걸 정리하는 데 시간이 꽤 걸렸습니다. 이 과정을 거친 후에야 제대로 된 분석이 가능했던 경험이 있었습니다.

---

정리

데이터 품질 관리는 화려하지 않지만, 데이터 분석의 토대입니다.

• 결측치, 이상치, 중복, 불일치 같은 기본 문제를 다루는 것부터 시작해서,
• 정량적인 지표로 품질을 관리하고,
• 도메인 지식과 결합해 “이 데이터가 실제로 믿을 수 있는가”를 끊임없이 확인해야 합니다.

앞으로 프로젝트를 할 때도 모델링 이전에, 데이터 품질부터 점검하는 습관을 더 신경 써야겠다고 생각합니다.