데이터 누수

작성자

익명

작성일

2026.07.26

조회수

버전

데이터 누수 머신러닝 데이터 전처리 특징 공학 시계열 데이터 Scikit-learn Pipeline 타겟 누수 중급

📋 문서 버전

이 문서는 2개의 버전이 있습니다. 현재 최신 버전을 보고 있습니다.

데이터 누수 (Data Leakage)

데이터 누수(Data Leakage)는 머신러닝 및 데이터 과학 모델의 학습 과정에서, 테스트 데이터(평가 데이터)에 포함되어야 할 정보가 우연히 또는 실수로 학습 데이터에 유입되어 모델이 실제 환경에서보다 과도하게 높은 성능을 보이는 현상을 의미합니다. 이는 모델의 일반화 능력(Generalization)을 과대평가하게 만들어, 배포 후 실제 성능이 기대에 미치지 못하는 치명적인 오류를 초래합니다.

1. 개요 및 중요성

데이터 과학 프로젝트에서 모델의 성능을 평가할 때 가장 중요한 지표는 검증 데이터(Validation Data)나 테스트 데이터(Test Data)에서의 성능입니다. 이상적인 머신러닝 워크플로우에서는 모델이 학습하지 않은, 즉 '보지 못한' 데이터에 대해 얼마나 잘 예측하는지를 측정해야 합니다.

그러나 데이터 전처리(Preprocessing)나 특징 공학(Feature Engineering) 단계에서 실수가 발생하면, 테스트 데이터의 정보가 학습 과정에 간접적으로 노출될 수 있습니다. 이를 데이터 누수라고 하며, 이는 모델이 데이터를 '학습'한 것이 아니라 '암기'하거나 '추론'한 것과 유사한 결과를 낳습니다. 데이터 누수가 발생하면 모델의 실제 예측 성능은 크게 과장되므로, 신뢰할 수 없는 모델이 생산 환경에 배포될 위험이 있습니다.

2. 데이터 누수의 주요 유형과 발생 원인

데이터 누수는 크게 두 가지 시나리오로 나뉩니다. 하나는 학습 데이터와 테스트 데이터가 섞이는 경우이고, 다른 하나는 전처리 과정에서 미래의 정보가 유입되는 경우입니다.

2.1. 데이터 분할 전 전처리 (Preprocessing before Splitting)

가장 흔한 실수 중 하나는 데이터를 학습용과 테스트용으로 나누기 전에 전처리 작업을 수행하는 것입니다.

정규화(Normalization) 및 표준화(Standardization):
- MinMaxScaler나 StandardScaler와 같은 스케일링 도구를 사용할 때, 전체 데이터셋(학습+테스트)의 평균과 표준편위를 계산하여 적용하면 안 됩니다.
- 올바른 방법: 학습 데이터만으로 평균과 표준편위를 계산한 후, 이를 테스트 데이터에 적용해야 합니다. 이렇게 하면 테스트 데이터의 분포 정보가 학습 모델에 전달되지 않습니다.
결측치 처리(Missing Value Imputation):
- 전체 데이터의 평균이나 중앙값으로 결측치를 채우면, 테스트 데이터의 통계적 특성이 학습 데이터에 반영됩니다.
- 올바른 방법: 학습 데이터의 결측치 통계치(평균, 최빈값 등)를 계산하여 학습 데이터의 결측치를 채우고, 동일한 통계치를 테스트 데이터의 결측치에도 적용해야 합니다.

2.2. 특징 공학 과정에서의 누수 (Feature Engineering Leakage)

특징을 생성하는 과정에서 타겟 변수(Target Variable)와 관련이 있거나, 미래의 정보가 포함된 특징을 만들 경우 누수가 발생합니다.

타겟과의 직접적/간접적 연관성:
- 예: "병원 방문 횟수"를 예측하는 모델에서 "현재 병원 방문 횟수"를 특징으로 사용하면, 이는 타겟과 거의 동일한 정보가 됩니다.
- 예: 신용카드 사기 탐지에서 "거래 시간"과 "거래 금액"을 더한 값을 특징으로 만들 때, 만약 이 합계가 사기 판별 기준과 밀접하게 연관되어 있다면 누수가 발생할 수 있습니다.
그룹별 집계(Group-wise Aggregation):
- 사용자별 평균 구매 금액을 특징으로 만들 때, 해당 사용자의 모든 거래 데이터(미래 데이터 포함)를 사용하여 평균을 계산하면 누수가 발생합니다.
- 올바른 방법: 학습 시점까지의 데이터만 사용하여 평균을 계산해야 합니다.

2.3. 시계열 데이터에서의 누수 (Temporal Leakage)

시계열 데이터(Time Series Data)에서는 시간의 흐름이 매우 중요합니다.

미래 정보의 유입:
- 현재 시점의 예측에 미래의 데이터를 특징으로 사용하면 안 됩니다.
- 예: 주가 예측 모델에서 '당일 종가'를 사용하여 '당일 수익률'을 예측하는 것은 불가능한 일입니다.
롤링 윈도우(Rolling Window) 계산 오류:
- 이동 평균(Moving Average)을 계산할 때, 현재 시점 이후의 데이터를 포함하여 윈도우를 설정하면 누수가 발생합니다.

3. 데이터 누수 방지 전략

데이터 누수를 방지하기 위해서는 엄격한 데이터 분할 프로세스와 검증 단계를 거쳐야 합니다.

3.1. 올바른 데이터 분할 순서

데이터 수집 및 초기 탐색: 원본 데이터를 분석합니다.
학습/검증/테스트 데이터 분할: 가능한 한 초기 단계에서 데이터를 분리합니다.
학습 데이터 기반 전처리: 학습 데이터만으로 스케일링 파라미터, 결측치 대체값 등을 계산합니다.
전처리 적용: 계산된 파라미터를 학습 데이터와 테스트 데이터에 각각 적용합니다.
모델 학습 및 평가: 학습 데이터로 모델을 학습시키고, 테스트 데이터로 성능을 평가합니다.

3.2. 교차 검증(Cross-Validation)의 올바른 사용

교차 검증을 사용할 때도 주의가 필요합니다. Pipeline을 활용하여 각 폴드(Fold) 내에서만 전처리 파라미터를 학습해야 합니다.

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.datasets import load_iris

# 데이터 로드
data = load_iris()
X, y = data.data, data.target

# Pipeline 정의: 스케일링과 분류기를 하나의 파이프라인으로 묶음
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('classifier', LogisticRegression())
])

# 교차 검증 수행: 각 폴드에서 스케일링 파라미터가 학습 데이터에서만 계산됨
scores = cross_val_score(pipeline, X, y, cv=5)
print(f"교차 검증 점수: {scores.mean():.4f} (+/- {scores.std() * 2:.4f})")

3.3. 체크리스트

[ ] 전처리 파라미터(평균, 표준편위, 최빈값 등)가 학습 데이터에서만 계산되었는가?
[ ] 특징 생성 시 타겟 변수의 미래 정보가 포함되지 않았는가?
[ ] 시계열 데이터에서 미래의 데이터가 특징으로 사용되지 않았는가?
[ ] 테스트 데이터의 분포가 학습 데이터와 유사한지 확인했는가? (분포 불일치는 누수가 아니지만 성능 저하의 원인이 됨)

4. 결론

데이터 누수는 머신러닝 모델의 신뢰성을 해치는 가장 심각한 오류 중 하나입니다. 높은 검증 점수에도 불구하고 실제 서비스에서 낮은 성능을 보인다면, 데이터 누수가 발생했을 가능성을 먼저 의심해야 합니다. 엄격한 데이터 분할 프로세스와 Pipeline을 활용한 자동화된 전처리는 이러한 실수를 방지하는 데 필수적입니다. 데이터 과학자는 모델의 성능뿐만 아니라, 그 성능이 어떻게 도출되었는지에 대한 투명성과 타당성을 항상 검증해야 합니다.

5. 관련 문서 및 참고 자료

[데이터 전처리 (Data Preprocessing)]
[교차 검증 (Cross-Validation)]
[특징 공학 (Feature Engineering)]
[일반화 (Generalization) vs 과적합 (Overfitting)]
Scikit-learn Documentation: Pipelines and Compound Estimators

타겟 누수와 사후 정보의 위험성

특징 공학 과정에서 발생하는 누수의 핵심은 타겟 누수(Target Leakage)입니다. 이는 예측 시점(Inference Time)에는 절대 알 수 없지만, 데이터셋을 구축하는 과정에서 결과론적으로 포함된 '사후 정보(Post-event information)'가 특징으로 들어가는 현상을 말합니다.

예를 들어, 고객의 이탈 여부를 예측하는 모델에서 '해지 신청서 접수 날짜'라는 변수가 포함되어 있다면, 이는 이미 이탈이 결정된 후에 생성된 정보입니다. 모델은 이 변수를 통해 정답을 쉽게 맞히게 되지만, 실제 서비스 환경에서 이탈 가능성이 있는 고객을 미리 찾아내야 하는 시점에는 해당 변수값이 존재하지 않으므로 모델은 무용지물이 됩니다. 따라서 특징을 설계할 때는 항상 "이 정보가 예측을 수행하는 바로 그 순간에 가용한 데이터인가?"를 자문해야 합니다.

시계열 데이터 분할 및 누수 방지 실무

시계열 데이터에서는 무작위 셔플링(Random Shuffling)을 사용한 분할이 치명적인 누수를 유발합니다. 미래의 데이터가 학습셋에 포함되어 과거를 예측하게 되는 'Look-ahead bias'가 발생하기 때문입니다.

시간축 분할 예시 (Time-based Splitting)

데이터를 시간 순서대로 정렬한 후, 특정 시점을 기준으로 절단하는 방식을 사용해야 합니다.

잘못된 방법: train_test_split(X, y, test_size=0.2, shuffle=True) $\rightarrow$ 미래 데이터가 학습셋에 섞임
올바른 방법:
- 학습셋: 2020년 1월 ~ 2022년 12월 데이터
- 검증셋: 2023년 1월 ~ 2023년 6월 데이터
- 테스트셋: 2023년 7월 ~ 2023년 12월 데이터

타겟 누수 방지를 위한 코드 예제

그룹별 집계 특징을 만들 때, 전체 기간의 평균이 아닌 '현재 시점 이전'의 데이터만 사용하는 Expanding Window 또는 Rolling Window 방식을 적용해야 합니다.

import pandas as pd

# 데이터: 사용자별 거래 기록 (시간순 정렬 가정)
df = pd.DataFrame({
    'user_id': [1, 1, 1, 1, 2, 2, 2, 2],
    'date': pd.to_datetime(['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04', 
                            '2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04']),
    'amount': [100, 200, 150, 300, 50, 80, 60, 120],
    'target': [0, 0, 0, 1, 0, 0, 0, 1] # 이탈 여부 등
})

# [위험] 타겟 누수 발생: 전체 기간의 평균 구매액을 특징으로 사용
df['mean_amount_leak'] = df.groupby('user_id')['amount'].transform('mean')

# [안전] 누수 방지: 현재 행을 제외한 이전 데이터들의 누적 평균 계산 (Expanding Window)
df['mean_amount_safe'] = df.groupby('user_id')['amount'].transform(
    lambda x: x.shift(1).expanding().mean()
)

print(df[['user_id', 'date', 'amount', 'mean_amount_leak', 'mean_amount_safe']])