# 편향-분산 트레이드오프 (Bias-Variance Tradeoff)

## 1. 개요
편향-분산 트레이드오프(Bias-Variance Tradeoff)란 머신러닝 모델의 예측 성능을 결정하는 두 가지 핵심 요소인 **편향(Bias)**과 **분산(Variance)** 사이의 상충 관계를 의미하며, 모델의 복잡도를 조절하여 전체 오차(Total Error)를 최소화하는 최적의 지점을 찾는 과정을 설명하는 개념이다.

## 2. 편향과 분산의 상세 개념

머신러닝 모델이 학습 데이터로부터 패턴을 학습할 때, 예측값과 실제 정답 사이에는 필연적으로 오차가 발생한다. 이 오차는 크게 모델의 가정(Assumption)에서 오는 '편향'과 데이터의 변동성에 민감하게 반응하는 '분산'으로 구분된다.

* **편향 (Bias):** 모델이 학습 데이터의 본질적인 패턴을 충분히 반영하지 못해 발생하는 오차이다. 편향이 높다는 것은 모델이 너무 단순하여 데이터의 복잡한 구조를 학습하지 못했음을 의미한다.
* **분산 (Variance):** 모델이 특정 학습 데이터셋의 노이즈(Noise)나 미세한 변동에 지나치게 민감하게 반응하여 발생하는 오차이다. 분산이 높다는 것은 새로운 데이터가 들어왔을 때 예측값이 크게 요동칠 수 있음을 의미한다.

### [표 1] 편향과 분산의 특징 및 모델 상태 비교

| 구분 | 높은 편향 (High Bias) | 높은 분산 (High Variance) |
| :--- | :--- | :--- |
| **모델 복잡도** | 낮음 (단순함) | 높음 (복잡함) |
| **데이터 적응력** | 데이터의 패턴을 놓침 | 데이터의 노이즈까지 학습함 |
| **학습 데이터 성능** | 낮음 | 매우 높음 |
| **테스트 데이터 성능** | 낮음 | 낮음 |
| **주요 상태** | 과소적합 (Underfitting) | 과적합 (Overfitting) |

## 3. 과소적합(Underfitting)과 과적합(Overfitting)

### 3.1 과소적합 (Underfitting)
모델이 너무 단순하여 학습 데이터의 내재된 구조를 제대로 학습하지 못한 상태이다. 이 경우 학습 데이터와 테스트 데이터 모두에서 낮은 성능을 보인다.
* **원인:** 모델의 파라미터 수가 너무 적음, 특징량(Feature) 부족, 지나치게 강한 규제 적용 등.
* **실제 사례:** 주가 예측 모델을 만들 때, 복잡한 경제 지표를 무시하고 단순히 '어제의 주가가 오늘의 주가'라고 가정하는 선형 회귀 모델을 사용하는 경우.

### 3.2 과적합 (Overfitting)
모델이 학습 데이터에 포함된 노이즈나 특이치(Outlier)까지 모두 학습하여, 학습 데이터에는 완벽하게 부합하지만 새로운 데이터에는 대응하지 못하는 상태이다.
* **원인:** 모델의 복잡도가 너무 높음, 학습 데이터 양이 부족함, 특징량이 너무 많음 등.
* **실제 사례:** 개와 고양이를 구분하는 이미지 분류 모델을 학습시킬 때, 동물의 특징이 아닌 배경에 있는 '잔디'나 '카페트'의 패턴까지 학습하여 잔디가 있으면 무조건 개라고 판단하는 경우.

## 4. 오차의 분해 (Error Decomposition)

통계학적 관점에서 모델의 기대 오차(Expected Error)는 다음과 같은 수학적 구조로 분해될 수 있다. 임의의 데이터 포인트 $x$에 대한 예측값 $\hat{f}(x)$와 실제 값 $y$ 사이의 평균 제곱 오차(Mean Squared Error, MSE)는 다음과 같이 정의된다.

$$ \text{Total Error} = \text{Bias}[\hat{f}(x)]^2 + \text{Var}[\hat{f}(x)] + \sigma^2 $$

여기서 각 항의 통계적 정의는 다음과 같다:
* $\text{Bias}[\hat{f}(x)] = E[\hat{f}(x)] - f(x)$ (예측값의 기대값과 실제 값의 차이)
* $\text{Var}[\hat{f}(x)] = E[(\hat{f}(x) - E[\hat{f}(x)])^2]$ (예측값들이 기대값으로부터 흩어진 정도)

1.  **$\text{Bias}[\hat{f}(x)]^2$ (편향의 제곱):** 모델의 예측값 평균과 실제 정답 사이의 차이의 제곱이다.
2.  **$\text{Var}[\hat{f}(x)]$ (분산):** 여러 데이터셋에서 학습된 모델들의 예측값이 얼마나 흩어져 있는지를 나타낸다.
3.  **$\sigma^2$ (불가피한 노이즈, Irreducible Error):** 데이터 자체에 포함된 무작위적인 오차로, 어떤 정교한 모델을 사용하더라도 제거할 수 없는 최소한의 오차 한계이다.

## 5. 트레이드오프 관계와 모델 복잡도

모델의 복잡도가 증가함에 따라 편향과 분산은 서로 반대 방향으로 움직이는 경향을 보인다. 이를 '트레이드오프(Tradeoff)'라고 한다.

* **저복잡도 구간:** 모델이 너무 단순하여 데이터의 구조를 파악하지 못하므로 편향이 높고 분산은 낮다.
* **고복잡도 구간:** 모델이 데이터를 지나치게 세밀하게 학습하여 편향은 매우 낮아지지만, 데이터의 작은 변화에도 예측값이 크게 변하는 높은 분산을 갖게 된다.

### [그래프] 모델 복잡도에 따른 오차 곡선

![Bias-Variance Tradeoff Graph](https://upload.wikimedia.org/wikipedia/commons/thumb/a/a3/Bias_variance_tradeoff.svg/500px-Bias_variance_tradeoff.svg.png)

> 참고: 위 이미지는 모델 복잡도 증가에 따른 Bias, Variance, Total Error의 변화를 나타내는 전형적인 그래프이다.

그래프에서 볼 수 있듯이, **Total Error(전체 오차)**는 편향과 분산의 합이 최소가 되는 특정 지점에서 최솟값을 가진다. 이 지점을 흔히 **스위트 스팟(Sweet Spot)**이라 부른다.

## 6. 최적의 모델을 찾기 위한 전략

모델의 성능을 극대화하기 위해서는 편향과 분산 사이의 균형을 맞추는 것이 핵심이다. 상세한 기법별 변화 양상은 아래 [표 2]를 참조한다.

### 6.1 주요 방법론
1.  **규제 (Regularization):** 모델의 가중치가 너무 커지지 않도록 페널티를 부여하여 복잡도를 제어한다.
2.  **교차 검증 (Cross Validation):** 데이터를 나누어 학습과 검증을 반복함으로써 일반화 성능을 평가한다.
3.  **데이터 증강 (Data Augmentation):** 기존 데이터를 변형(회전, 반전 등)하여 데이터의 양을 늘린다. 학습 데이터의 양이 늘어날수록 모델이 특정 샘플의 노이즈에 휘둘릴 가능성이 낮아져 분산이 감소한다.
4.  **앙상블 학습 (Ensemble Learning):** 여러 모델을 결합한다. 배깅(Bagging)은 분산을 줄이는 데, 부스팅(Boosting)은 편향을 줄이는 데 효과적이다.

### [표 2] 규제 기법별 편향과 분산 변화 양상

| 규제 기법 | 주요 목적 | 편향 (Bias) 변화 | 분산 (Variance) 변화 |
| :--- | :--- | :--- | :--- |
| **L1/L2 Regularization** | 모델 복잡도 감소 | 약간 증가 ($\uparrow$) | 감소 ($\downarrow$) |
| **Dropout (신경망)** | 특정 노드 의존도 감소 | 약간 증가 ($\uparrow$) | 감소 ($\downarrow$) |
| **Early Stopping** | 과도한 학습 방지 | 증가 ($\uparrow$) | 감소 ($\downarrow$) |
| **Bagging (Random Forest)** | 분산 감소 | 유지 또는 소폭 증가 | 크게 감소 ($\downarrow \downarrow$) |
| **Boosting (XGBoost 등)** | 편향 감소 | 크게 감소 ($\downarrow \downarrow$) | 증가 ($\uparrow$) |

### [표 3] L1 규제와 L2 규제의 비교

| 구분 | L1 규제 (Lasso) | L2 규제 (Ridge) |
| :--- | :--- | :--- |
| **페널티 방식** | 가중치의 절대값 합 ($\sum |w|$) | 가중치의 제곱 합 ($\sum w^2$) |
| **가중치 특징** | 불필요한 가중치를 0으로 만듦 (Sparse) | 가중치를 전체적으로 작게 만듦 |
| **주요 효과** | 변수 선택(Feature Selection) 기능 포함 | 모델의 복잡도를 전반적으로 완화 |

## 7. 파이썬 실전 예제: 모델 복잡도와 오차 변화

아래 코드는 다항 회귀(Polynomial Regression)를 통해 모델의 차수(복잡도)가 증가함에 따라 편향과 분산이 어떻게 변하는지 시뮬레이션한다.

```python
import numpy as np
import matplotlib.pyplot as plt
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 1. 데이터 생성 (비선형 함수 + 노이즈)
np.random.seed(42)
def true_func(X):
    return np.cos(1.5 * np.pi * X)

n_samples = 30
X = np.sort(np.random.rand(n_samples))
y = true_func(X) + np.random.randn(n_samples) * 0.1

# 2. 모델 복잡도(차수)에 따른 학습 및 테스트
degrees = [1, 4, 15]  # 저복잡도, 적정복잡도, 고복잡도

plt.figure(figsize=(14, 5))

for i, degree in enumerate(degrees):
    ax = plt.subplot(1, len(degrees), i + 1)
    
    # 다항 회귀 모델 생성 및 학습
    polynomial_features = PolynomialFeatures(degree=degree, include_bias=False)
    linear_regression = LinearRegression()
    pipeline = make_pipeline(polynomial_features, linear_regression)
    pipeline.fit(X[:, np.newaxis], y)

    # 예측값 계산
    X_test = np.linspace(0, 1, 100)
    y_pred = pipeline.predict(X_test[:, np.newaxis])

    # 시각화
    plt.plot(X_test, y_pred, label="Model", color='red', linewidth=2)
    plt.plot(X_test, true_func(X_test), label="True function", linestyle='--', color='green')
    plt.scatter(X, y, edgecolor='b', s=20, label="Samples")
    
    title = f"Degree {degree}\n"
    if degree == 1: title += "High Bias (Underfitting)"
    elif degree == 4: title += "Optimal (Sweet Spot)"
    else: title += "High Variance (Overfitting)"
    plt.title(title)
    plt.legend(loc="best")

plt.tight_layout()
plt.show()
```