# 데이터 리크 (Data Leakage)

## 개요
**데이터 리크(Data Leakage)**란 머신러닝 모델을 학습시킬 때, 모델이 예측해야 할 타겟(Target) 정보나 테스트 데이터셋의 정보가 학습 데이터셋에 의도치 않게 포함되어 모델의 성능이 비정상적으로 높게 측정되는 현상을 말한다.

데이터 리크가 발생하면 학습 단계에서는 매우 높은 정확도와 낮은 오차를 보이지만, 실제 운영 환경(Production)에서 새로운 데이터를 입력했을 때는 성능이 급격히 하락하는 심각한 일반화 오류가 발생한다. 이는 모델이 데이터의 본질적인 패턴을 학습한 것이 아니라, 정답지에 해당하는 '힌트'를 외운 것에 불과하기 때문에 발생하는 일종의 과적합(Overfitting) 현상이다.

---

## 데이터 리크의 주요 유형
데이터 리크는 크게 **타겟 리크**와 **훈련-테스트 오염** 두 가지 유형으로 구분된다.

### 타겟 리크 (Target Leakage)
예측 시점에는 알 수 없는 정보가 피처(Feature)에 포함된 경우이다. 즉, 타겟 변수가 결정된 이후에 생성된 데이터가 학습 데이터에 포함되어, 모델이 인과관계가 아닌 결과론적인 정보를 학습하게 된다.

*   **예시**: 암 진단 여부를 예측하는 모델에서, 진단 결과가 나온 뒤에 결정되는 '수술 여부'나 '항암제 처방 기록'이 피처로 들어간 경우. 이는 결과(암 진단)가 원인(수술)을 만든 것이므로, 실제 예측 시점(진단 전)에는 알 수 없는 정보이며 인과관계가 역전된 사례에 해당한다.

### 훈련-테스트 오염 (Train-Test Contamination)
데이터 분할(Split) 전 전처리를 수행하여, 테스트 데이터의 통계적 특성(평균, 표준편차 등)이 학습 데이터에 반영된 경우이다. 이는 테스트 데이터의 통계적 정보가 학습 과정에 유출되어, 모델이 평가 데이터에 과적합(Overfitting)되는 결과를 초래한다.

### [표] 타겟 리크 vs 훈련-테스트 오염 비교
| 구분 | 타겟 리크 (Target Leakage) | 훈련-테스트 오염 (Contamination) |
| :--- | :--- | :--- |
| **발생 원인** | 타겟 결정 이후의 변수 포함 | 잘못된 전처리 순서 및 데이터 분할 방식 |
| **핵심 특징** | 피처 자체가 정답의 힌트를 포함함 | 테스트셋의 정보가 학습셋에 스며듦 |
| **발생 시점** | 데이터 수집 및 피처 엔지니어링 단계 | 데이터 전처리 및 검증 단계 |
| **대표 예시** | 암 진단 예측 시 '수술 여부' 피처 포함 | 전체 데이터 기준 `StandardScaler` 적용 |

---

## 발생 원인 및 사례

### 일반적인 전처리 실수
가장 빈번한 사례는 데이터 분할 전 전체 데이터셋에 대해 스케일링(Scaling)이나 결측치 임퓨테이션(Imputation)을 수행하는 것이다. 예를 들어, 전체 데이터의 평균값으로 결측치를 채우면, 학습 데이터에 테스트 데이터의 평균 정보가 포함되어 리크가 발생한다.

### 시계열 데이터 특화 리크 (Time-series Leakage)
시계열 데이터에서는 **'미래의 데이터가 과거의 학습에 사용되는 경우'**가 치명적이다.
- **Look-ahead Bias**: 특정 시점 $t$의 값을 예측하는데 $t+1$ 시점의 정보를 사용하는 경우.
- **Random Split**: 시계열 데이터를 무작위로 섞어(Shuffle) 분할하면, 미래의 데이터가 학습셋에 들어가고 과거의 데이터가 테스트셋에 들어가는 역전 현상이 발생한다.

### 코드 예제: 전처리 순서 비교

```python
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import pandas as pd

# 가상 데이터 생성
df = pd.DataFrame({'feature': [10, 20, 30, 40, 50], 'target': [0, 1, 0, 1, 0]})
X = df[['feature']]
y = df['target']

# ❌ 잘못된 방법: 전체 데이터 기준 스케일링 (Data Leakage 발생)
scaler_bad = StandardScaler()
# 전체 데이터 X의 평균/표준편차를 계산하여 적용했으므로 테스트셋 정보가 포함됨
X_scaled_bad = scaler_bad.fit_transform(X) 
X_train_bad, X_test_bad, y_train, y_test = train_test_split(X_scaled_bad, y, test_size=0.2)

# ✅ 올바른 방법: 분할 후 학습셋 기준으로만 스케일링
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
scaler_good = StandardScaler()
X_train_good = scaler_good.fit_transform(X_train) # 학습셋으로만 기준 설정
X_test_good = scaler_good.transform(X_test)      # 학습셋 기준을 테스트셋에 적용
```

---

## 데이터 리크 탐지 방법

### 비정상적인 성능 지표 (Too good to be true)
모델의 성능(Accuracy, AUC, $R^2$ 등)이 상식 밖으로 높게 나오는 경우 리크를 의심해야 한다. 예를 들어, 금융 사기 탐지 모델의 정확도가 99.9%라면, 실제 사기 발생 후 기록되는 '사후 처리 코드' 같은 변수가 피처에 포함되었을 가능성이 매우 높다.

### 피처 중요도(Feature Importance) 분석
Random Forest나 XGBoost와 같은 모델의 `feature_importances_`를 확인했을 때, 특정 변수 하나가 압도적으로 높은 중요도를 가진다면 해당 변수가 타겟과 직접적으로 연결된 리크 변수일 확률이 크다.

### [그래프] 리크 발생 시 성능 괴리 (개념도)
```text
성능(Accuracy)
 ^
 |      [리크 발생 시]
 |      Train: ■■■■■■■■■■ (매우 높음)
 |      Val:    ■■■■■■■■■■ (매우 높음)
 |      Test:   ■■ (실제 배포 후 급락)
 |
 |      [정상 모델]
 |      Train: ■■■■■■ (완만함)
 |      Val:    ■■■■■ (유사함)
 |      Test:   ■■■■ (유사함)
 +--------------------------------------------> 데이터셋 구분
```

---

## 방지 대책 및 해결 방안

### 엄격한 데이터 분리 (Hold-out)
데이터를 수집하는 즉시 학습(Train), 검증(Validation), 테스트(Test) 셋으로 엄격히 분리하고, 테스트 셋은 최종 평가 전까지 절대 모델이나 전처리 과정에 노출시키지 않는다.

### Scikit-learn 파이프라인(Pipeline) 활용
전처리 과정과 모델 학습을 하나의 파이프라인으로 묶으면, `fit` 메서드 호출 시 학습 데이터에 대해서만 전처리 기준이 설정되므로 리크를 원천적으로 차단할 수 있다.

```python
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

# 파이프라인 구축: 스케일링 -> 모델 학습
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('rf', RandomForestClassifier())
])

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# pipeline.fit 호출 시 scaler.fit은 X_train에 대해서만 수행됨
pipeline.fit(X_train, y_train)
score = pipeline.score(X_test, y_test)
```

### 시계열 데이터: Walk-forward 검증
시계열 데이터의 경우 무작위 교차 검증(K-Fold) 대신, 시간 순서를 유지하는 **Walk-forward Validation**(또는 `TimeSeriesSplit`)을 적용한다.

```python
from sklearn.model_selection import TimeSeriesSplit

# 시계열 데이터 분할 예제
tscv = TimeSeriesSplit(n_splits=5)
for train_index, test_index in tscv.split(X):
    X_train, X_test = X.iloc[train_index], X.iloc[test_index]
    y_train, y_test = y.iloc[train_index], y.iloc[test_index]
    # 학습 및 검증 수행
```

### 타겟 리크 변수 제거 방법
타겟 리크가 의심되는 변수를 식별하고 제거하는 과정은 다음과 같다.
1. **도메인 분석**: 변수가 생성되는 시점이 타겟 변수가 결정된 이후인지 확인한다.
2. **상관관계 분석**: 타겟 변수와 지나치게 높은 상관관계(예: 0.99 이상)를 가진 변수를 추출한다.
3. **단일 변수 모델링**: 의심되는 변수 하나만으로 모델을 학습시켜 성능이 비정상적으로 높게 나오는지 확인한다.
4. **제거 및 재평가**: 해당 변수를 제거한 후 성능 하락 폭을 확인한다. 성능이 완만하게 하락한다면 리크 변수였을 가능성이 크며, 이를 제거한 모델이 실제 환경에서 더 강건(Robust)하다.

---

## 요약 및 체크리스트

모델 배포 전, 다음 항목을 검토하여 데이터 리크 여부를 최종 확인하십시오.

- [ ] **데이터 분할 시점**: 모든 전처리(스케일링, 임퓨테이션)가 `train_test_split` 이후에 수행되었는가?
- [ ] **피처의 시점**: 모든 피처가 예측 시점(Prediction Time)에 실제로 획득 가능한 정보인가? (인과관계 역전 확인)
- [ ] **시계열 정렬**: 시계열 데이터의 경우 셔플(Shuffle) 없이 시간 순서대로 분할하였는가?
- [ ] **이상 성능 확인**: 검증 성능이 지나치게 높지 않은가? (Too good to be true)
- [ ] **피처 중요도**: 특정 변수가 비정상적으로 높은 영향력을 행사하고 있지는 않은가?
- [ ] **파이프라인 적용**: 전처리-학습 과정이 `Pipeline` 등을 통해 캡슐화되어 관리되고 있는가?