# 집단별 성능 지표 (Stratified Performance Metrics)

## 개요

**집단별 성능 지표(Stratified Performance Metrics)**는 머신러닝 및 데이터 과학 모델의 평가 과정에서 전체 데이터셋의 평균 성능만으로는 파악하기 어려운 하위 그룹(Sub-group) 간의 성능 편차(Disparity)를 정량화하기 위해 사용되는 평가 방법론입니다. 특히 의료 진단, 금융 신용 평가, 채용 알고리즘 등 모델의 결정이 개인의 삶에 중대한 영향을 미치는 도메인에서 모델의 공정성(Fairness)과 견고성(Robustness)을 검증하는 데 필수적입니다.

단순히 전체 데이터에 대한 정확도(Accuracy)나 평균 제곱 오차(MSE)만 확인하는 것은 모델이 특정 인구 통계학적 그룹(예: 성별, 인종, 연령대)이나 특정 조건(예: 저조도 환경의 얼굴 인식)에서 심각한 성능 저하를 보일 수 있음을 간과할 수 있습니다. 집단별 성능 지표는 이러한 '숨겨진 편향'을 발견하고 모델의 개선 방향을 제시하는 핵심 도구입니다.

## 집단별 성능 지표의 필요성

전체 평균 지표는 종종 '사실의 왜곡(Simpson's Paradox)'을 일으킬 수 있습니다. 예를 들어, 전체 데이터셋에서 모델의 정확도가 95%로 매우 높게 나왔더라도, 이는 데이터의 90%를 차지하는 주류 그룹에서 뛰어난 성능을 보였기 때문일 수 있습니다. 반면, 소수 그룹(예: 드문 질병을 가진 환자군)에서는 정확도가 50%에 불과할 수 있습니다. 이러한 경우 전체 평균은 모델의 우수성을 과장하여 보여주며, 실제 배포 시 심각한 윤리적, 법적 문제를 초래할 수 있습니다.

따라서 현대의 데이터 과학 프로젝트에서는 다음과 같은 이유로 집단별 분석이 표준 절차로 자리 잡았습니다:

1.  **공정성 검증**: 알고리즘이 특정 집단을 불리하게 대우하지 않는지 확인.
2.  **견고성 평가**: 데이터 분포가 다른 하위 그룹에서도 모델이 일관되게 작동하는지 확인.
3.  **리스크 관리**: 소수 그룹에서의 실패가 전체 시스템에 치명적인 영향을 미칠 수 있는 경우 대비.

## 주요 평가 지표 및 계산 방법

집단별 성능 지표를 계산할 때는 일반적으로 데이터를 특정 기준(예: 성별, 인종, 지역)에 따라 '층(Strata)'으로 나누고, 각 층별로 분류 문제나 회귀 문제의 표준 지표를 산출합니다.

### 1. 분류 문제에서의 지표

이진 분류(Binary Classification) 문제를 예로 들면, 각 집단 $G_i$에 대해 다음 지표들을 개별적으로 계산합니다.

*   **정확도 (Accuracy)**: 전체 예측 중 맞은 예측의 비율.
    $$ \text{Accuracy}_i = \frac{TP_i + TN_i}{TP_i + TN_i + FP_i + FN_i} $$
*   **정밀도 (Precision)**: 양성으로 예측한 것 중 실제로 양성인 비율. (거짓 양성(False Positive)의 위험이 큰 경우 중요)
    $$ \text{Precision}_i = \frac{TP_i}{TP_i + FP_i} $$
*   **재현율 (Recall/Sensitivity)**: 실제 양성 중 모델이 올바르게 양성으로 예측한 비율. (거짓 음성(False Negative)의 위험이 큰 경우 중요)
    $$ \text{Recall}_i = \frac{TP_i}{TP_i + FN_i} $$
*   **F1 점수 (F1-Score)**: 정밀도와 재현율의 조화 평균. 불균형 데이터셋에서 유용합니다.
    $$ F1_i = 2 \times \frac{\text{Precision}_i \times \text{Recall}_i}{\text{Precision}_i + \text{Recall}_i} $$

여기서 $TP, TN, FP, FN$은 각각 해당 집단 $i$ 내의 참양성, 참음성, 거짓양성, 거짓음성의 개수를 의미합니다.

### 2. 회귀 문제에서의 지표

회귀(Regression) 문제의 경우, 각 집단별 오차 지표를 계산합니다.

*   **평균 제곱 오차 (MSE)**: 예측값과 실제값의 차이의 제곱 평균.
*   **평균 절대 오차 (MAE)**: 예측값과 실제값의 차이의 절대값 평균.
*   **R-제곱 ($R^2$)**: 모델이 데이터의 분산을 얼마나 잘 설명하는지 나타내는 계수.

## 성능 편차 분석 및 공정성 측정

집단별 지표를 산출한 후에는 각 집단 간 성능의 차이, 즉 **편차(Bias)**를 분석해야 합니다. 이를 위해 다음과 같은 공정성 측정 지표들이 활용됩니다.

| 지표 이름 | 설명 | 수식 예시 (집단 A vs 집단 B) |
| :--- | :--- | :--- |
| **성비 차이 (Disparity)** | 두 집단 간 성능 지표의 절대적 차이 | $| \text{Recall}_A - \text{Recall}_B |$ |
| **비율 차이 (Ratio)** | 두 집단 간 성능 지표의 상대적 비율 | $\frac{\text{Recall}_A}{\text{Recall}_B}$ |
| **통계적 평등 (Statistical Parity)** | 양성 예측 비율이 집단 간 동일해야 함 | $| P(\hat{Y}=1|G=A) - P(\hat{Y}=1|G=B) |$ |
| **균등한 기회 (Equal Opportunity)** | 실제 양성인 경우 재현율이 동일해야 함 | $| \text{Recall}_A - \text{Recall}_B | < \epsilon$ |

일반적으로 재현율(Recall)이나 정밀도(Precision)의 차이가 임계값(예: 0.05 또는 5%)을 초과할 경우, 모델이 해당 집단에서 편향되어 있다고 판단하여 재학습이나 피처 엔지니어링을 통한 보정이 필요합니다.

## 실무 적용 가이드라인

집단별 성능 지표를 효과적으로 활용하기 위한 실무적 조언은 다음과 같습니다.

1.  **사전 정의된 하위 그룹 설정**: 모델 개발 초기 단계부터 분석할 하위 그룹(예: 성별, 연령대)을 정의하고, 해당 그룹의 데이터 샘플 크기가 충분히 확보되었는지 확인해야 합니다. 샘플 크기가 너무 작으면 통계적 유의미성이 떨어지므로 주의가 필요합니다.
2.  **교차 검증(Cross-Validation) 적용**: 단일 테스트 세트만으로는 우연에 의한 편차가 발생할 수 있으므로, 교차 검증을 통해 집단별 성능이 일관되게 유지되는지 확인합니다.
3.  **시각화 도구 활용**: `Fairlearn`, `AIF360`, `What-If Tool` 등의 라이브러리를 사용하여 집단별 성능을 시각적으로 비교하고 편차를 직관적으로 파악합니다.
4.  **해석의 맥락 고려**: 단순히 수치적 차이가 크다고 해서 무조건 모델이 나쁘다고 판단하지 않습니다. 해당 도메인의 비즈니스 맥락과 윤리적 기준을 고려하여 허용 가능한 편차의 범위를 설정해야 합니다.

## 결론

집단별 성능 지표는 단순한 기술적 평가 도구를 넘어, 신뢰할 수 있고 공정한 AI 시스템을 구축하기 위한 윤리적 필수 요소입니다. 데이터 과학자는 모델의 전체 평균 성능에 매몰되지 않고, 소수 집단이나 취약 계층에서의 성능을 철저히 검증함으로써 더 포용적이고 안전한 기술 솔루션을 제공할 수 있습니다. 향후 AI 규제 강화 추세에 따라 집단별 성능 보고는 선택이 아닌 필수 사항이 될 것으로 예상됩니다.

## 관련 문서 및 참고 자료

*   [공정성 AI (Fairness in AI)]
*   [모델 검증 및 테스트 (Model Validation)]
*   [불균형 데이터 처리 (Imbalanced Data Handling)]
*   **참고 문헌**:
    *   Hardt, M., Price, E., & Srebro, N. (2016). *Equality of Opportunity in Supervised Learning*. NeurIPS.
    *   Barocas, S., Hardt, M., & Narayanan, A. (2019). *Fairness and Machine Learning*. fairmlbook.org.