# PR-AUC (Precision-Recall Area Under the Curve)

## 1. 개요
**PR-AUC**는 **정밀도-재현율 곡선 아래의 면적(Area Under the Precision-Recall Curve)**을 수치화한 지표로, 이진 분류 모델의 성능을 평가하는 데 사용됩니다. 이 지표는 정밀도(Precision)와 재현율(Recall)의 조화로운 성능을 하나의 숫자로 요약하여 보여줍니다. 특히 양성(Positive) 클래스의 비율이 매우 낮은 **불균형 데이터셋(Imbalanced Dataset)** 환경에서 모델이 양성 클래스를 얼마나 정확하게 식별하는지를 평가하는 데 매우 효과적인 지표입니다.

## 2. 핵심 개념 및 계산 원리

### 2.1 정밀도와 재현율
PR-AUC를 이해하기 위해서는 먼저 [[정밀도]]와 [[재현율]]의 개념을 정의해야 합니다.

| 지표 | 수식 | 의미 | 특징 |
| :--- | :---: | :--- | :--- |
| **정밀도 (Precision)** | $\frac{TP}{TP + FP}$ <br> (True Positives) / (True Positives + False Positives) | 모델이 양성이라고 예측한 것 중 실제 양성의 비율 | FP(오탐)를 줄이는 것이 중요할 때 강조됨 |
| **재현율 (Recall)** | $\frac{TP}{TP + FN}$ <br> (True Positives) / (True Positives + False Negatives) | 실제 양성인 데이터 중 모델이 양성으로 맞춘 비율 | FN(미탐)을 줄이는 것이 중요할 때 강조됨 |

**[[혼동 행렬(Confusion Matrix)]] 용어 정의:**
*   **TP (True Positive):** 실제 양성을 양성으로 맞게 예측
*   **FP (False Positive):** 실제 음성을 양성으로 틀리게 예측
*   **FN (False Negative):** 실제 양성을 음성으로 틀리게 예측
*   **TN (True Negative):** 실제 음성을 음성으로 맞게 예측

### 2.2 트레이드-오프(Trade-off)와 곡선 생성
분류 모델은 일반적으로 0과 1 사이의 확률값을 출력하며, 사용자가 설정한 **임계값(Threshold)**에 따라 최종 클래스가 결정됩니다.
- **임계값을 높이면:** 정밀도는 상승하지만, 엄격한 기준 탓에 실제 양성을 놓치게 되어 재현율은 하락합니다.
- **임계값을 낮추면:** 더 많은 데이터를 양성으로 분류하여 재현율은 상승하지만, 오탐이 늘어나 정밀도는 하락합니다.

이처럼 임계값을 0에서 1까지 변화시키며 각 지점의 정밀도와 재현율을 좌표평면에 플롯한 것이 **PR 곡선**이며, 이 곡선 아래의 면적을 적분하여 계산한 값이 **PR-AUC**입니다.

### 2.3 보간법 (Interpolation)
PR 곡선은 임계값 변화에 따라 계단 모양으로 불연속적인 형태를 띠는 경우가 많습니다. 이를 매끄럽게 연결하거나 면적 계산의 정확도를 높이기 위해 **보간법**을 사용합니다.
- **선형 보간법 (Linear Interpolation):** 인접한 두 점을 직선으로 연결하여 면적을 계산합니다.
- **정밀도 보간법 (Precision Interpolation):** 특정 재현율 $r$에서의 정밀도를 $\max_{r' \ge r} P(r')$로 정의하여, 곡선의 톱니 모양(zig-zag)을 제거하고 단조 감소하는 형태로 변환하여 계산합니다. 이는 주로 PASCAL VOC와 같은 객체 탐지 평가에서 사용됩니다.

## 3. ROC-AUC와의 비교

[[ROC-AUC]]는 TPR(True Positive Rate)과 FPR(False Positive Rate)을 사용하며, PR-AUC는 Precision과 Recall을 사용합니다.

| 비교 항목 | ROC-AUC | PR-AUC |
| :--- | :--- | :--- |
| **X축 / Y축** | FPR $\rightarrow$ TPR | Recall $\rightarrow$ Precision |
| **주요 관심사** | 전체적인 분류 능력 (양성/음성 모두) | 양성 클래스에 대한 예측 정확도 |
| **데이터 불균형 영향** | 음성 클래스가 압도적으로 많으면 FPR이 낮게 유지되어 성능이 과대평가됨 | 음성 클래스가 많아도 FP가 증가하면 정밀도가 급락하여 성능 저하가 명확히 드러남 |
| **평가 성향** | 낙관적 (Optimistic) | 엄격함 (Strict) |

> **핵심 요약:** **ROC-AUC는 FP(False Positive)의 증가에 둔감하여 성능이 과대평가될 가능성이 높지만, PR-AUC는 FP의 증가에 매우 민감하게 반응하여 불균형 데이터셋에서 더 엄격하고 정확한 평가가 가능합니다.**

**시각적 비교:**
![PR Curve vs ROC Curve](https://upload.wikimedia.org/wikipedia/commons/thumb/3/3a/Precisionrecall_vs_ROC.png/600px-Precisionrecall_vs_ROC.png)
*(이미지 예시: 왼쪽의 ROC 곡선은 불균형 데이터에서도 완만하게 유지되는 경향이 있으나, 오른쪽의 PR 곡선은 정밀도 하락이 뚜렷하게 나타남)*

## 4. 해석 및 평가 기준

### 4.1 수치 해석
- **1.0:** 완벽한 분류기 (모든 양성을 정확히 맞추고 오탐이 없음).
- **0.0:** 최악의 분류기.
- **베이스라인 (Baseline):** PR-AUC의 무작위 예측 기준점은 ROC-AUC(0.5)와 달리 **'전체 데이터 중 양성 클래스의 비율'**입니다. 예를 들어 양성 비율이 1%인 데이터셋에서 PR-AUC가 0.1이라면, 무작위 예측보다 10배 성능이 좋은 것이지만 절대적인 수치로는 낮게 보일 수 있습니다.

### 4.2 Average Precision (AP)과의 차이점
많은 라이브러리에서 PR-AUC와 AP를 혼용하지만, 엄밀한 계산 방식에는 차이가 있습니다.
- **PR-AUC:** PR 곡선의 아래 면적을 수치 적분(예: 사다리꼴 공식)으로 계산한 값입니다.
- **Average Precision (AP):** 정밀도-재현율 곡선의 가중 평균으로, 재현율이 증가하는 지점에서의 정밀도 값들의 합을 계산합니다.
  $$\text{AP} = \sum_{n} (R_n - R_{n-1}) P_n$$
  AP는 곡선의 면적을 근사하는 더 정교한 방법이며, 특히 불연속적인 PR 곡선에서 더 강건한 성능 지표로 간주됩니다.

## 5. 한계점 및 성능 저하 사례

PR-AUC가 강력한 지표임에도 불구하고 다음과 같은 한계가 존재합니다.

1. **음성 클래스 무시:** PR-AUC는 양성 클래스의 성능에만 집중합니다. 만약 비즈니스 요구사항이 "음성을 얼마나 정확하게 음성으로 분류하는가"에 있다면, PR-AUC만으로는 부족하며 [[ROC-AUC]]나 [[혼동 행렬(Confusion Matrix)]]를 병행 확인해야 합니다.
2. **데이터 희소성 문제:** 양성 샘플 수가 극도로 적은 경우, 단 몇 개의 FP(False Positive)만 발생해도 정밀도가 급격히 하락하여 곡선이 심하게 요동치는 현상이 발생합니다. 이는 모델의 일반적인 성능보다는 특정 샘플에 대한 예측 결과에 지표가 과하게 민감하게 반응하는 결과를 초래하여, 결과값의 신뢰도를 떨어뜨릴 수 있습니다.
3. **임계값 결정의 어려움:** PR-AUC는 전체적인 성능을 보여줄 뿐, 실제 서비스에 적용할 최적의 단일 임계값을 직접적으로 제시하지는 않습니다.

## 6. 구현 및 활용 예시

### 6.1 Python 구현 코드
`scikit-learn`을 사용하여 PR-AUC(AP)를 계산하고 시각화하는 예제입니다.

```python
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve, auc, average_precision_score

# 1. 가상 데이터 생성 (불균형 데이터셋 가정)
y_true = np.array([0, 0, 0, 0, 0, 0, 0, 1, 1, 1]) # 양성 비율 30%
y_scores = np.array([0.1, 0.2, 0.3, 0.1, 0.4, 0.2, 0.5, 0.8, 0.9, 0.7])

# 2. 정밀도, 재현율, 임계값 계산
# 주의: precision과 recall 배열의 마지막 요소는 그래프 끝단을 닫기 위해 
# 추가된 값(precision=1, recall=0)이므로 실제 데이터 해석 시 주의가 필요합니다.
precision, recall, thresholds = precision_recall_curve(y_true, y_scores)

# 3. PR-AUC 및 Average Precision 계산
# auc() 함수는 사다리꼴 공식(Trapezoidal rule)을 사용하므로, 
# 아래의 average_precision_score와 계산 방식이 달라 값이 다르게 나올 수 있습니다.
pr_auc = auc(recall, precision)
ap_score = average_precision_score(y_true, y_scores)

print(f"PR-AUC (Trapezoidal): {pr_auc:.4f}")
print(f"Average Precision: {ap_score:.4f}")

# 4. 시각화
plt.plot(recall, precision, label=f'PR Curve (AUC = {pr_auc:.2f})')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend()
plt.grid(True)
plt.show()
```

### 6.2 실제 비즈니스 활용 사례
- **이상 거래 탐지 (Fraud Detection):** 수백만 건의 결제 중 극소수의 사기 거래를 찾아내야 하는 경우, 단순히 정확도(Accuracy)를 높이는 것은 의미가 없습니다. PR-AUC를 통해 사기 거래를 놓치지 않으면서(Recall) 무고한 사용자를 차단하지 않는(Precision) 최적의 지점을 찾습니다.
- **희귀 질병 진단:** 전체 인구 중 매우 낮은 확률로 발생하는 질병을 진단할 때, 위양성(False Positive)으로 인한 불필요한 정밀 검사 비용을 줄이면서 환자를 정확히 찾아내는 모델을 평가하는 데 활용됩니다.