# 과적합 (Overfitting)

**과적합**(過適合, Overfitting)은 기계 학습(Machine Learning) 및 통계 모델링에서 모델이 훈련 데이터(Training Data)에 지나치게 맞춰져, 새로운 unseen 데이터(테스트 데이터 또는 실제 데이터)에 대한 일반화 성능이 떨어지는 현상을 의미합니다. 즉, 모델이 데이터의 실제 패턴(Pattern)을 학습하는 것이 아니라, 훈련 데이터에 포함된 노이즈(Noise)나 무작위 변동까지 외워버리는 상태를 말합니다.

## 1. 개요 및 개념

기계 학습의 궁극적인 목표는 훈련 데이터를 통해 얻은 지식을 바탕으로 보지 못한 새로운 데이터에 대해 정확하게 예측하는 **일반화(Generalization)** 능력을 갖추는 것입니다. 그러나 모델이 너무 복잡하거나 훈련 과정이 부적절할 경우, 모델은 훈련 데이터의 특정 샘플들에 대한 오류를 최소화하기 위해 불필요하게 복잡한 결정 경계(Decision Boundary)를 형성하게 됩니다.

이러한 상태에서는 훈련 데이터에 대한 정확도(Accuracy)는 매우 높게 나타나지만, 실제 적용 시에는 성능이 급격히 저하됩니다. 이는 마치 학생이 기출문제(훈련 데이터)의 정답만 암기하고, 원리를 이해하지 못한 채 시험(테스트 데이터)을 보는 것과 유사합니다.

## 2. 과적합의 원인

과적합은 주로 다음과 같은 요인들로 인해 발생합니다.

*   **모델의 과도한 복잡성**: 매개변수(Parameter)의 수가 데이터의 수에 비해 지나치게 많을 때 발생합니다. 예를 들어, 고차원 다항식 회귀 모델이 선형적인 관계를 가진 데이터에 적용될 경우, 곡선이 데이터 점들을 지나치게 많이 통과하며 왜곡됩니다.
*   **훈련 데이터의 부족**: 데이터의 양이 충분하지 않거나, 데이터의 분포가 편향되어 있을 경우 모델이 전체 데이터의 특성을 제대로 학습하지 못하고 일부 샘플에 치우치게 됩니다.
*   **훈련 시간의 과다**: 특히 신경망(Neural Network)과 같은 반복적 학습 알고리즘에서 에포크(Epoch)가 너무 많이 진행되면, 모델은 훈련 데이터의 노이즈까지 학습하여 일반화 성능이 떨어집니다.
*   **노이즈가 많은 데이터**: 데이터에 측정 오차나 이상치(Outlier)가 많을 경우, 모델이 이를 실제 신호로 오인하여 학습할 수 있습니다.

## 3. 과적합의 진단 방법

과적합 여부를 판단하기 위해서는 일반적으로 **훈련 세트(Training Set)**와 **검증 세트(Validation Set)** 또는 **테스트 세트(Test Set)**의 성능 지표를 비교합니다.

| 지표 | 과적합 발생 시 특징 | 설명 |
| :--- | :--- | :--- |
| **훈련 오차 (Training Error)** | 매우 낮음 | 모델이 훈련 데이터를 거의 완벽하게 예측함. |
| **검증/테스트 오차 (Validation/Test Error)** | 높음 | 새로운 데이터에 대한 예측 성능이 떨어짐. |
| **오차 차이** | 큼 | 훈련 오차와 검증 오차 간의 격차가 클수록 과적합 가능성이 높음. |

일반적으로 학습 초기에는 훈련 오차와 검증 오차 모두 감소하지만, 학습이 진행됨에 따라 훈련 오차는 계속 감소하는 반면 검증 오차는 특정 시점부터 증가하기 시작합니다. 이 검증 오차가 최소가 되는 지점이 최적의 학습 단계입니다.

## 4. 과적합 방지 및 해결 전략

과적합을 줄이고 모델의 일반화 성능을 높이기 위해 다양한 기법들이 사용됩니다.

### 4.1. 데이터 관련 기법
*   **데이터 증강 (Data Augmentation)**: 이미지 분류 등의 작업에서 회전, 뒤집기, 자르기 등을 통해 훈련 데이터의 다양성을 인위적으로 증가시킵니다.
*   **데이터 수집**: 가능한 한 더 많고 질 좋은 데이터를 수집하여 모델이 데이터의 본질적인 분포를 학습하도록 합니다.

### 4.2. 모델 관련 기법
*   **정규화 (Regularization)**: 모델의 가중치(Weight)가 지나치게 커지는 것을 방지하여 모델의 복잡도를 제한합니다.
    *   **L1 정규화 (Lasso)**: 가중치의 절대값 합을 패널티로 추가하여 희소한(Sparse) 모델을 만듭니다.
    *   **L2 정규화 (Ridge)**: 가중치의 제곱 합을 패널티로 추가하여 가중치를 작게 유지합니다.
*   **드롭아웃 (Dropout)**: 신경망 학습 중 무작위로 일부 뉴런을 비활성화하여, 특정 뉴런에 의존하는 것을 방지하고 앙상블 효과를 냅니다.
*   **조기 종료 (Early Stopping)**: 검증 오차가 증가하기 시작하는 시점에서 학습을 강제로 중단합니다.

### 4.3. 교차 검증 (Cross-Validation)
*   **K-Fold 교차 검증**: 데이터를 K개의 부분 집합으로 나누어, K번에 걸쳐 번갈아가며 훈련과 검증을 수행합니다. 이를 통해 데이터 분할에 따른 편향을 줄이고 더 안정적인 성능 평가를 가능하게 합니다.

## 5. 과소적합(Underfitting)과의 비교

과적합과 대비되는 개념으로 **과소적합(Underfitting)**이 있습니다. 과소적합은 모델이 너무 단순하여 훈련 데이터의 기본 패턴조차 학습하지 못하는 상태로, 훈련 데이터와 테스트 데이터 모두에서 성능이 낮게 나타납니다.

| 구분 | 과소적합 (Underfitting) | 과적합 (Overfitting) |
| :--- | :--- | :--- |
| **모델 복잡도** | 너무 낮음 | 너무 높음 |
| **훈련 오차** | 높음 | 낮음 |
| **테스트 오차** | 높음 | 높음 |
| **주요 원인** | 모델이 단순함, 특징 부족 | 모델이 복잡함, 노이즈 학습 |
| **해결책** | 모델 복잡도 증가, 특징 공학 | 정규화, 데이터 증강, 드롭아웃 |

## 6. 결론

과적합은 기계 학습 모델 개발 과정에서 가장 흔히 마주치는 문제 중 하나입니다. 효과적인 모델 구축을 위해서는 적절한 모델 복잡도 선택, 충분한 데이터 확보, 그리고 정규화 기법 등의 과적합 방지 전략을 체계적으로 적용해야 합니다. 이를 통해 모델은 훈련 데이터에 국한되지 않고 실제 환경에서도 robust(강건한)한 성능을 발휘할 수 있습니다.

## 관련 문서
* [기계 학습 (Machine Learning)]
* [일반화 (Generalization)]
* [정규화 (Regularization)]
* [교차 검증 (Cross-Validation)]
* [드롭아웃 (Dropout)]