# 과적합 (Overfitting)

**과적합**(過適合, Overfitting)은 머신러닝 및 통계 모델링에서 학습 데이터에 지나치게 맞춰져 새로운 데이터, 즉 테스트 데이터나 실제 환경에서의 예측 성능이 저하되는 현상을 의미합니다. 이는 모델이 데이터의 일반적인 패턴(신호, Signal)을 학습하는 것이 아니라, 학습 데이터에 포함된 무작위 오차나 노이즈(Noise)까지 외워버리는 결과로 발생합니다.

## 1. 개요 및 정의

머신러닝 모델의 핵심 목표는 보이지 않는 새로운 데이터에 대해 정확하게 예측하는 **일반화(Generalization)** 능력을 갖추는 것입니다. 그러나 모델이 학습 데이터의 분포에 지나치게 복잡하게 적응하면, 학습 데이터에서는 매우 낮은 오차(Low Bias)를 보이지만 실제 적용 시에는 높은 오차(High Variance)를 나타내는 문제가 발생합니다.

이러한 현상은 모델의 복잡도가 데이터의 실제 underlying pattern보다 너무 높을 때 주로 발생합니다. 즉, 모델이 "너무 똑똑해져서" 학습 데이터의 세부적인 잡음까지 기억해버린 상태라고 비유할 수 있습니다.

## 2. 과적합의 원인

과적합은 다양한 요인이 복합적으로 작용하여 발생하지만, 주요 원인은 다음과 같습니다.

*   **모델의 과도한 복잡성**: 파라미터의 수가 너무 많거나 모델 구조가 지나치게 복잡한 경우(예: 깊은 신경망, 높은 차원의 다항식 회귀) 학습 데이터의 미세한 변동까지 학습하려 합니다.
*   **학습 데이터의 부족**: 데이터의 양이 충분하지 않을 경우, 모델은 제한된 샘플의 특징만 학습하게 되어 전체 분포를 제대로 파악하지 못합니다.
*   **학습 시간의 과다**: 특히 반복 학습 알고리즘(예: 경사 하강법)에서 에포크(Epoch)가 너무 많이 진행되면 모델은 학습 데이터에 완전히 수렴하게 됩니다.
*   **노이즈가 많은 데이터**: 학습 데이터에 측정 오차나 이상치(Outlier)가 많을 경우, 모델이 이를 실제 패턴으로 오인할 수 있습니다.

## 3. 과적합의 증상 및 식별

과적합 여부를 판단하기 위해서는 학습 데이터와 검증(또는 테스트) 데이터 간의 성능 차이를 비교해야 합니다.

| 구분 | 학습 데이터 성능 | 검증/테스트 데이터 성능 | 해석 |
| :--- | :---: | :---: | :--- |
| **과소적합 (Underfitting)** | 낮음 | 낮음 | 모델이 너무 단순하여 패턴을 학습하지 못함 |
| **적절한 적합 (Good Fit)** | 높음 | 높음 | 모델이 일반화 능력을 갖추었음 |
| **과적합 (Overfitting)** | **매우 높음** | **낮음** | 모델이 학습 데이터만 외움 |

일반적으로 학습 손실(Loss)은 계속 감소하는 반면, 검증 손실은 특정 시점 이후부터 증가하기 시작하는 지점이 과적합이 시작되는 시점입니다.

## 4. 과적합 방지 전략

과적합을 줄이고 모델의 일반화 성능을 높이기 위해 다음과 같은 기법들이 널리 사용됩니다.

### 4.1. 데이터 관련 기법
*   **데이터 증강 (Data Augmentation)**: 이미지 분류의 경우 회전, 뒤집기, 자르기 등을 통해 학습 데이터의 다양성을 인위적으로 증가시킵니다.
*   **데이터 수집**: 가능한 한 더 많고 질 좋은 학습 데이터를 확보하는 것이 가장 근본적인 해결책입니다.

### 4.2. 모델 관련 기법
*   **정규화 (Regularization)**: 모델의 가중치(Weight) 값이 너무 커지는 것을 패널티를 통해 제한합니다.
    *   **L1 정규화 (Lasso)**: 희소한 가중치를 만들어 특징 선택(Feature Selection)에 유용합니다.
    *   **L2 정규화 (Ridge)**: 가중치를 작게 유지하여 모델의 복잡도를 제어합니다.
*   **드롭아웃 (Dropout)**: 신경망 학습 중 무작위로 일부 뉴런을 비활성화하여, 특정 뉴런에 대한 의존도를 줄이고 앙상블 효과를 냅니다.
*   **조기 종료 (Early Stopping)**: 검증 데이터의 성능이 더 이상 향상되지 않거나 악화되기 시작하는 시점에서 학습을 강제로 중단합니다.

### 4.3. 교차 검증 (Cross-Validation)
단일 검증 세트의 우연성을 줄이기 위해 K-Fold Cross Validation과 같은 방법을 사용하여 모델의 안정성을 평가합니다.

## 5. 관련 개념 비교

*   **편향-분산 트레이드오프 (Bias-Variance Tradeoff)**: 모델의 복잡도를 증가시키면 편향(Bias)은 줄어들지만 분산(Variance)은 증가합니다. 과적합은 분산이 과도하게 높은 상태를 의미하며, 최적의 모델은 편향과 분산의 균형을 찾는 과정입니다.
*   **차원의 저주 (Curse of Dimensionality)**: 특징(feature)의 차원이 너무 높아지면 데이터가 희소해져 모델이 과적합되기 쉬워집니다.

## 6. 결론

과적합은 머신러닝 모델 개발 과정에서 가장 흔히 마주치는 문제 중 하나입니다. 단순히 모델의 정확도를 높이는 것뿐만 아니라, 검증 데이터를 통한 지속적인 모니터링과 적절한 정규화 기법의 적용을 통해 모델의 일반화 능력을 확보하는 것이 중요합니다. 효과적인 과적합 관리는 더 강건하고 신뢰할 수 있는 AI 시스템을 구축하는 데 필수적인 요소입니다.

## 참고 문헌 및 관련 문서

*   Bishop, C. M. (2006). *Pattern Recognition and Machine Learning*. Springer.
*   Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press.
*   [머신러닝 용어사전: 일반화 (Generalization)]
*   [머신러닝 용어사전: 정규화 (Regularization)]