# 데이터 누수 (Data Leakage)

**데이터 누수(Data Leakage)**는 머신러닝 및 데이터 과학 모델의 학습 과정에서, 테스트 데이터(평가 데이터)에 포함되어야 할 정보가 우연히 또는 실수로 학습 데이터에 유입되어 모델이 실제 환경에서보다 과도하게 높은 성능을 보이는 현상을 의미합니다. 이는 모델의 일반화 능력(Generalization)을 과대평가하게 만들어, 배포 후 실제 성능이 기대에 미치지 못하는 치명적인 오류를 초래합니다.

## 1. 개요 및 중요성

데이터 과학 프로젝트에서 모델의 성능을 평가할 때 가장 중요한 지표는 **검증 데이터(Validation Data)**나 **테스트 데이터(Test Data)**에서의 성능입니다. 이상적인 머신러닝 워크플로우에서는 모델이 학습하지 않은, 즉 '보지 못한' 데이터에 대해 얼마나 잘 예측하는지를 측정해야 합니다.

그러나 데이터 전처리(Preprocessing)나 특징 공학(Feature Engineering) 단계에서 실수가 발생하면, 테스트 데이터의 정보가 학습 과정에 간접적으로 노출될 수 있습니다. 이를 **데이터 누수**라고 하며, 이는 모델이 데이터를 '학습'한 것이 아니라 '암기'하거나 '추론'한 것과 유사한 결과를 낳습니다. 데이터 누수가 발생하면 모델의 실제 예측 성능은 크게 과장되므로, 신뢰할 수 없는 모델이 생산 환경에 배포될 위험이 있습니다.

## 2. 데이터 누수의 주요 유형과 발생 원인

데이터 누수는 크게 두 가지 시나리오로 나뉩니다. 하나는 학습 데이터와 테스트 데이터가 섞이는 경우이고, 다른 하나는 전처리 과정에서 미래의 정보가 유입되는 경우입니다.

### 2.1. 데이터 분할 전 전처리 (Preprocessing before Splitting)

가장 흔한 실수 중 하나는 데이터를 학습용과 테스트용으로 나누기 전에 전처리 작업을 수행하는 것입니다.

*   **정규화(Normalization) 및 표준화(Standardization):**
    *   `MinMaxScaler`나 `StandardScaler`와 같은 스케일링 도구를 사용할 때, 전체 데이터셋(학습+테스트)의 평균과 표준편위를 계산하여 적용하면 안 됩니다.
    *   **올바른 방법:** 학습 데이터만으로 평균과 표준편위를 계산한 후, 이를 테스트 데이터에 적용해야 합니다. 이렇게 하면 테스트 데이터의 분포 정보가 학습 모델에 전달되지 않습니다.
*   **결측치 처리(Missing Value Imputation):**
    *   전체 데이터의 평균이나 중앙값으로 결측치를 채우면, 테스트 데이터의 통계적 특성이 학습 데이터에 반영됩니다.
    *   **올바른 방법:** 학습 데이터의 결측치 통계치(평균, 최빈값 등)를 계산하여 학습 데이터의 결측치를 채우고, 동일한 통계치를 테스트 데이터의 결측치에도 적용해야 합니다.

### 2.2. 특징 공학 과정에서의 누수 (Feature Engineering Leakage)

특징을 생성하는 과정에서 타겟 변수(Target Variable)와 관련이 있거나, 미래의 정보가 포함된 특징을 만들 경우 누수가 발생합니다.

*   **타겟과의 직접적/간접적 연관성:**
    *   예: "병원 방문 횟수"를 예측하는 모델에서 "현재 병원 방문 횟수"를 특징으로 사용하면, 이는 타겟과 거의 동일한 정보가 됩니다.
    *   예: 신용카드 사기 탐지에서 "거래 시간"과 "거래 금액"을 더한 값을 특징으로 만들 때, 만약 이 합계가 사기 판별 기준과 밀접하게 연관되어 있다면 누수가 발생할 수 있습니다.
*   **그룹별 집계(Group-wise Aggregation):**
    *   사용자별 평균 구매 금액을 특징으로 만들 때, 해당 사용자의 **모든** 거래 데이터(미래 데이터 포함)를 사용하여 평균을 계산하면 누수가 발생합니다.
    *   **올바른 방법:** 학습 시점까지의 데이터만 사용하여 평균을 계산해야 합니다.

### 2.3. 시계열 데이터에서의 누수 (Temporal Leakage)

시계열 데이터(Time Series Data)에서는 시간의 흐름이 매우 중요합니다.

*   **미래 정보의 유입:**
    *   현재 시점의 예측에 미래의 데이터를 특징으로 사용하면 안 됩니다.
    *   예: 주가 예측 모델에서 '당일 종가'를 사용하여 '당일 수익률'을 예측하는 것은 불가능한 일입니다.
*   **롤링 윈도우(Rolling Window) 계산 오류:**
    *   이동 평균(Moving Average)을 계산할 때, 현재 시점 이후의 데이터를 포함하여 윈도우를 설정하면 누수가 발생합니다.

## 3. 데이터 누수 방지 전략

데이터 누수를 방지하기 위해서는 엄격한 데이터 분할 프로세스와 검증 단계를 거쳐야 합니다.

### 3.1. 올바른 데이터 분할 순서

1.  **데이터 수집 및 초기 탐색:** 원본 데이터를 분석합니다.
2.  **학습/검증/테스트 데이터 분할:** 가능한 한 초기 단계에서 데이터를 분리합니다.
3.  **학습 데이터 기반 전처리:** 학습 데이터만으로 스케일링 파라미터, 결측치 대체값 등을 계산합니다.
4.  **전처리 적용:** 계산된 파라미터를 학습 데이터와 테스트 데이터에 각각 적용합니다.
5.  **모델 학습 및 평가:** 학습 데이터로 모델을 학습시키고, 테스트 데이터로 성능을 평가합니다.

### 3.2. 교차 검증(Cross-Validation)의 올바른 사용

교차 검증을 사용할 때도 주의가 필요합니다. `Pipeline`을 활용하여 각 폴드(Fold) 내에서만 전처리 파라미터를 학습해야 합니다.

```python
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.datasets import load_iris

# 데이터 로드
data = load_iris()
X, y = data.data, data.target

# Pipeline 정의: 스케일링과 분류기를 하나의 파이프라인으로 묶음
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('classifier', LogisticRegression())
])

# 교차 검증 수행: 각 폴드에서 스케일링 파라미터가 학습 데이터에서만 계산됨
scores = cross_val_score(pipeline, X, y, cv=5)
print(f"교차 검증 점수: {scores.mean():.4f} (+/- {scores.std() * 2:.4f})")
```

### 3.3. 체크리스트

*   [ ] 전처리 파라미터(평균, 표준편위, 최빈값 등)가 학습 데이터에서만 계산되었는가?
*   [ ] 특징 생성 시 타겟 변수의 미래 정보가 포함되지 않았는가?
*   [ ] 시계열 데이터에서 미래의 데이터가 특징으로 사용되지 않았는가?
*   [ ] 테스트 데이터의 분포가 학습 데이터와 유사한지 확인했는가? (분포 불일치는 누수가 아니지만 성능 저하의 원인이 됨)

## 4. 결론

데이터 누수는 머신러닝 모델의 신뢰성을 해치는 가장 심각한 오류 중 하나입니다. 높은 검증 점수에도 불구하고 실제 서비스에서 낮은 성능을 보인다면, 데이터 누수가 발생했을 가능성을 먼저 의심해야 합니다. 엄격한 데이터 분할 프로세스와 `Pipeline`을 활용한 자동화된 전처리는 이러한 실수를 방지하는 데 필수적입니다. 데이터 과학자는 모델의 성능뿐만 아니라, 그 성능이 어떻게 도출되었는지에 대한 투명성과 타당성을 항상 검증해야 합니다.

## 5. 관련 문서 및 참고 자료

*   [데이터 전처리 (Data Preprocessing)]
*   [교차 검증 (Cross-Validation)]
*   [특징 공학 (Feature Engineering)]
*   [일반화 (Generalization) vs 과적합 (Overfitting)]
*   *Scikit-learn Documentation: Pipelines and Compound Estimators*