# 다중 비교 문제

## 개요

**다중 비교 문제**(Multiple Comparisons Problem)는 통계학에서 여러 개의 가설을 동시에 검정할 때 발생하는 오류 확률의 증가 현상을 의미합니다. 일반적으로 하나의 가설 검정에서는 제1종 오류(귀무가설이 참인데 기각하는 오류)의 확률을 유의수준(예: α = 0.05)으로 제어합니다. 그러나 여러 개의 검정을 동시에 수행할 경우, 전체적으로 적어도 하나의 제1종 오류를 범할 확률이 증가하게 되며, 이를 **가족당 오류율**(Familywise Error Rate, FWER)이라고 합니다. 이 문제는 생물학, 의학, 사회과학, 데이터 과학 등 다양한 분야에서 반복적으로 통계 검정을 수행할 때 자주 발생하며, 무분별한 해석을 방지하기 위해 반드시 고려되어야 합니다.

## 다중 비교 문제의 원인

### 제1종 오류의 누적

단일 가설 검정에서 유의수준 α = 0.05는 "귀무가설이 참일 때 5%의 확률로 잘못 기각한다"는 의미입니다. 그러나 독립적인 가설을 \( m \)번 검정할 경우, 적어도 하나의 제1종 오류를 범할 확률은 다음과 같이 계산됩니다:

\[
\text{FWER} = 1 - (1 - \alpha)^m
\]

예를 들어, \( m = 10 \)개의 검정을 수행하고 각각의 유의수준을 0.05로 설정하면:

\[
\text{FWER} = 1 - (1 - 0.05)^{10} \approx 1 - 0.5987 = 0.4013
\]

즉, 전체적으로 약 **40%의 확률**로 하나 이상의 잘못된 기각이 발생하게 됩니다. 이는 통계적 유의성을 해석할 때 심각한 왜곡을 초래할 수 있습니다.

### 예시: 약물 효과 평가

예를 들어, 새로운 약물의 효과를 10개의 서로 다른 질병에 대해 독립적으로 검정한다고 가정합시다. 각 검정에서 유의수준 0.05를 사용하면, 실제로는 효과가 없음에도 불구하고 평균적으로 0.5개(10 × 0.05)의 질병에서 "유의미한 효과"가 있다고 잘못 결론지을 수 있습니다. 이처럼 우연히 나타난 결과를 실제 효과로 오인하는 위험이 바로 다중 비교 문제의 핵심입니다.

## 다중 비교 문제 해결 방법

다중 비교 문제를 해결하기 위해 다양한 보정 방법이 개발되었습니다. 주요 방법들은 FWER 또는 **오분류율**(False Discovery Rate, FDR)을 제어하는 데 초점을 맞춥니다.

### 1. 보네페로니 보정 (Bonferroni Correction)

가장 보수적인 방법 중 하나로, 각 개별 검정의 유의수준을 \( \alpha/m \)로 조정합니다. 예를 들어, 10개의 검정을 수행하고 전체 FWER를 0.05로 유지하려면, 각 검정의 유의수준을 \( 0.05/10 = 0.005 \)로 설정합니다.

- **장점**: 간단하고 FWER를 엄격히 제어
- **단점**: 검정력(Power)이 크게 감소하며, 보수적임

### 2. 홀름 보정 (Holm-Bonferroni Method)

보네페로니보다 덜 보수적인 순차적 방법입니다. p-값을 오름차순으로 정렬한 후, 각 p-값을 \( \alpha/(m-i+1) \)과 비교합니다.

- **장점**: FWER를 제어하면서 보네페로니보다 높은 검정력
- **단점**: 여전히 보수적일 수 있음

### 3. 벤جام니-호흐버그 절차 (Benjamini-Hochberg Procedure)

FDR을 제어하는 방법으로, 다수의 검정에서 허용 가능한 오진 비율을 설정합니다. 예를 들어, FDR을 0.1로 설정하면, 기각된 귀무가설 중 약 10%가 잘못 기각된 것임을 허용합니다.

- **장점**: 검정력이 높고, 대규모 데이터(예: 유전자 발현 분석)에 적합
- **단점**: FWER보다 덜 엄격하므로, 엄격한 통제가 필요한 경우 부적절할 수 있음

## 적용 분야

다중 비교 문제는 다음과 같은 분야에서 특히 중요합니다:

- **유전체학**: 수만 개의 유전자에 대해 동시에 발현 차이를 검정
- **임상 시험**: 다수의 하위 그룹 분석(subgroup analysis)
- **신경영상학**: 뇌의 수천 개의 보크셀(voxel)에 대한 활성화 검정
- **A/B 테스트**: 여러 변형(variant)을 동시에 비교

## 결론

다중 비교 문제는 통계 분석에서 흔히 간과되지만, 결과의 신뢰성에 중대한 영향을 미칩니다. 단순히 각 검정의 p-값이 0.05 미만이라고 해서 "유의미하다"고 결론짓는 것은 위험할 수 있습니다. 분석 목적과 데이터 특성에 따라 적절한 보정 방법(FWER 또는 FDR 기반)을 선택하여, 통계적 오류를 최소화하고 과학적 타당성을 확보해야 합니다.

## 참고 자료

- Hochberg, Y., & Benjamini, Y. (1990). *More powerful procedures for multiple significance testing*. Statistics in Medicine.
- Bonferroni, C. E. (1936). *Teoria statistica delle classi e calcolo delle probabilità*. Pubblicazioni del R Istituto Superiore di Scienze Economiche e Commerciali di Firenze.
- Holm, S. (1979). *A simple sequentially rejective multiple test procedure*. Scandinavian Journal of Statistics.