[파이썬을 활용한 통계 개념 기초] 13. F 분포와 t 분포(F and t distribution)

F 분포와 t 분포의 이해

---

F 분포 (F-distribution)

1. 정의

 

F 분포는 두 독립적인 카이제곱 분포의 비율에서 유도됩니다. 만약 \(X_1\)과 \(X_2\)가 각각 자유도가 \(u\)와 \(v\)인 카이제곱 분포를 따르고, 서로 독립적이라면 다음이 성립합니다.

\[ X_1 \sim \chi^2(u), \quad X_2 \sim \chi^2(v), \quad \text{then} \quad \frac{X_1 / u}{X_2 / v} \sim F(u, v) \]

여기서:

• \(u, v\): 각각의 자유도 (degrees of freedom)
• \(F(u, v)\): 자유도가 \(u, v\)인 F 분포

2. 특징

• F 분포는 항상 양수 값을 가집니다. (\(F > 0\))
• 비대칭적인 형태를 가지며, 자유도 \(u\), \(v\)의 값에 따라 모양이 달라집니다.
• 분산의 비율을 검토하는 데 사용됩니다.

3. 주요 활용

 

(1) 분산 분석 (ANOVA, Analysis of Variance)

 

F 분포는 ANOVA에서 가장 많이 사용됩니다. ANOVA는 여러 그룹 간 평균의 차이를 검증하기 위해 그룹 간 변동(분산)과 그룹 내 변동(분산)의 비율을 분석합니다. F-값이 클수록 그룹 간 평균 차이가 유의미할 가능성이 높습니다.

 

(2) 선형 회귀 모델 검정

 

선형 회귀 모델에서 전체 회귀 모델이 데이터를 잘 설명하는지 검증하기 위해 F-검정을 사용합니다. 이는 모델의 모든 회귀 계수가 0인지 확인하는 데 사용됩니다.

---

t 분포 (t-distribution)

1. 정의

 

t 분포는 표본 평균이 모집단 평균과 얼마나 다른지를 비교할 때 사용됩니다. 이는 표본의 크기가 작고 모집단의 분산(표준편차)을 알 수 없을 때 사용됩니다. t 통계량은 다음과 같이 정의됩니다.

\[ T = \frac{Z}{\sqrt{V / v}} \]

여기서:

• \(Z\): 표준정규분포 (\(Z \sim N(0, 1)\))
• \(V\): 자유도가 \(v\)인 카이제곱 분포 (\(V \sim \chi^2(v)\))
• \(T\): 자유도가 \(v\)인 t 분포 (\(T \sim t(v)\))

2. 특징

• 평균은 0이며, 분포의 형태는 자유도 \(v\)에 따라 달라집니다.
• 자유도가 높아질수록 표준정규분포에 가까워집니다.
• 꼬리가 두꺼워 극단값(outliers)에 민감합니다.

3. 주요 활용

 

(1) 평균 검정

 

t 분포는 평균에 대한 가설 검정에서 자주 사용됩니다.

• 단일 표본 t-검정: 한 집단의 평균이 특정 값과 다른지를 검증.
• 독립 표본 t-검정: 두 집단 간 평균 차이를 비교.
• 대응 표본 t-검정: 동일 집단의 사전-사후 데이터를 비교.

(2) 회귀 분석

 

회귀 계수의 유의성을 검증하기 위해 사용됩니다.\

 

4. t 통계량의 유도 과정

 

t 분포는 다음과 같이 유도됩니다. \(n\)개의 데이터가 있을 때, \(X_1, X_2, ..., X_n\)의 표본 평균 \(\bar{X}\)과 모집단 평균 \(\mu\)를 비교하는 t 통계량은 다음과 같습니다.

\[ T = \frac{\bar{X} - \mu}{S / \sqrt{n}} \]

여기서:

• \(\bar{X}\): 표본 평균
• \(\mu\): 모집단 평균
• \(S\): 표본 표준편차 (\(S = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2}\))
• \(n\): 표본 크기

이 수식을 통해 표본의 크기가 작더라도 모집단 평균을 추정할 수 있습니다.

---

F 분포와 t 분포의 관계

t 분포와 F 분포는 서로 밀접한 관련이 있습니다. t 분포는 F 분포의 특수한 경우로 볼 수 있습니다. 만약 F 분포의 자유도 중 하나가 1이라면, 다음 관계가 성립합니다.

\[ T^2 \sim F(1, v) \]

즉, t 분포의 제곱은 F 분포와 동일합니다. 이는 t 검정이 F 검정의 특수한 경우로 사용될 수 있음을 보여줍니다.

---

F 분포와 t 분포의 한계 및 주의점

F 분포의 한계

• 등분산성 가정: F 분포를 사용하는 ANOVA는 그룹 간의 분산이 동일하다는 가정을 필요로 합니다. 이 가정이 만족되지 않으면 결과가 왜곡될 수 있습니다.
  • 대안: 등분산 가정이 위배될 경우, Welch의 ANOVA 같은 방법을 사용할 수 있습니다.
• 비대칭성: F 분포는 항상 양수이고 비대칭적이기 때문에, 특정 상황에서는 적합하지 않을 수 있습니다.

t 분포의 한계

• 표본 크기: 표본 크기가 너무 작을 경우, t 분포의 결과가 불안정해질 수 있습니다.
  • 표본 크기가 매우 작다면, 데이터를 보완하거나 부트스트래핑(bootstrapping) 같은 방법으로 신뢰성을 높일 수 있습니다.
• 정규성 가정: t 분포를 사용하는 경우, 데이터가 정규분포를 따른다는 가정이 있습니다. 데이터가 정규성을 벗어나면 결과가 부정확할 수 있습니다.
  • 대안: 데이터가 정규성을 따르지 않을 경우, 비모수 검정(예: Mann-Whitney U Test)을 사용할 수 있습니다.

---

F 분포와 t 분포의 실제 활용 사례

F 분포

• 머신러닝 모델 비교:
  • F 검정은 회귀 모델의 유의성을 평가하는 데 사용됩니다. 예를 들어, 선형 회귀에서 모델의 설명력이 유의미한지 검증하기 위해 전체 회귀식에 대해 F 검정을 수행합니다.
• 실험 설계:
  • 예: 약물의 효과를 실험하는 경우, 세 그룹(약물 A, 약물 B, 위약)의 결과 차이를 비교하기 위해 ANOVA와 F 분포를 사용합니다.

t 분포

• A/B 테스트:
  • 웹사이트의 두 버전(버전 A와 버전 B)에서 평균 클릭률의 차이를 검정할 때 사용됩니다.
• 작은 샘플 분석:
  • 예: 특정 질병 환자의 소규모 샘플에서 평균 혈압 수치를 비교하는 경우.

---

F 검정과 t 검정 외의 대체 검정

F 검정을 대체하는 방법

• Levene 검정:
  • 분산의 동질성을 검정할 때 사용됩니다.
• Brown-Forsythe 검정:
  • Levene 검정의 변형으로, 데이터의 강건성을 높인 방법입니다.

t 검정을 대체하는 방법

• Mann-Whitney U Test:
  • 두 독립 집단 간의 순위 차이를 비교할 때 사용됩니다.
• Wilcoxon Signed-Rank Test:
  • 두 대응 집단 간의 차이를 비교할 때 사용됩니다.
• Permutation Test (순열 검정):
  • 데이터의 분포에 관계없이 두 집단의 평균 차이를 비교할 수 있는 유연한 방법입니다.

---

자유도(degrees of freedom)의 역할

F 분포와 t 분포 모두 자유도에 따라 형태가 크게 달라지기 때문에, 자유도의 의미를 이해하는 것이 중요합니다.

 

자유도의 정의

• F 분포:
  • 두 집단의 자유도 u,v는 각각의 샘플 크기와 관련됩니다.
  • 자유도가 증가할수록 F 분포는 정규분포에 가까워집니다.
• t 분포:
  • 자유도는 n−1로 계산되며, 표본 크기가 작을수록 분포가 표준정규분포와 더 큰 차이를 보입니다.

자유도와 신뢰구간

• 자유도가 높아질수록 신뢰구간이 좁아지고, 결과의 정확성이 증가합니다.
• 표본 크기가 작을수록 자유도가 낮아지고, 신뢰구간이 넓어지므로 분석의 신뢰도가 떨어질 수 있습니다.

---

추가적으로 알아둘 만한 것들

1. F 분포의 기원:
   • 이름은 통계학자인 Ronald Fisher에서 유래.
   • ANOVA를 체계적으로 정리한 공로로 명명됨.
2. t 분포의 기원:
   • William Gosset이 "Student"라는 익명으로 개발.
   • 작은 표본 데이터를 분석하기 위한 분포로 제안됨.
3. 활용 사례:
   • F 분포는 주로 분산의 비율을 비교하는 데 사용되며, t 분포는 평균의 차이를 검정하는 데 사용됩니다.
   • 두 분포 모두 다양한 통계적 가설 검정에 필수적인 도구입니다.

---