L2 정규화
L2 정규화
개요
L2 정규화(Ridge Regularization)는 머신러닝 모델의 과적합(Overfitting)을 방지하기 위해 사용되는 기법입니다. 이는 손실 함수(Loss Function)에 가중치의 제곱합을 패널티 항으로 추가하여 모델 복잡도를 제어하는 방식으로 작동합니다. 특히 데이터가 적거나 특성(Feature) 수가 많은 경우에 효과적이며, 선형 회귀(Linear Regression)와 신경망(Neural Network) 등 다양한 모델에 적용됩니다.
수학적 정의
L2 정규화는 다음과 같은 수식으로 표현됩니다:
$$ J(w) = \text{손실 함수} + \lambda \sum_{i=1}^{n} w_i^2 $$
여기서: - $ J(w) $: 정규화가 적용된 최종 손실 함수 - $ w_i $: 모델의 i번째 가중치 - $ \lambda $: 정규화 강도를 조절하는 하이퍼파라미터 (람다)
주요 개념 설명
- 과적합 방지: 큰 가중치 값을 억제하여 모델이 훈련 데이터에 과도하게 적응하지 않도록 합니다.
- 제곱합: 가중치의 크기가 클수록 패널티가 기하급수적으로 증가합니다.
- 람다(λ): λ가 클수록 정규화 효과가 강해지지만, 과도하면 과소적합(Underfitting)이 발생할 수 있습니다.
작동 원리
1. 가중치 축소(Weight Shrinkage)
L2 정규화는 가중치를 0에 가깝게 수축시킵니다. 이는 다음과 같은 과정을 통해 이루어집니다:
- 경사하강법(Gradient Descent) 중에 가중치 업데이트에 λ가 포함된 추가 항이 반영됩니다.
- 예시: 선형 회귀에서 가중치 업데이트 수식
$$
w_i := w_i - \eta \left( \frac{\partial J}{\partial w_i} + 2\lambda w_i \right)
$$
여기서 $ \eta $는 학습률(Learning Rate)입니다.
2. 모델 안정성 향상
- 특성 간 다중공선성(Multicollinearity)이 있을 때, L2 정규화는 가중치 분산을 줄입니다.
- 예: 두 특성이 높은 상관관계를 가질 경우, L2 정규화는 두 가중치를 균형 있게 조정합니다.
장단점 비교
| 구분 | 장점 | 단점 |
|---|---|---|
| 장점 | 1. 과적합 방지 2. 수치적 안정성 확보 3. 간단한 구현 |
단점 |
활용 사례
1. 선형 회귀(Linear Regression)
- 리지 회귀(Ridge Regression)로 알려진 대표적인 응용입니다.
- 예: 주택 가격 예측에서 특성 수가 100개 이상일 때 L2 정규화로 모델 복잡도 제어.
2. 신경망(Neural Network)
- 딥러닝에서 가중치 감쇠(Weight Decay)로 활용됩니다.
- 예: CNN에서 과적합 방지를 위해 모든 층에 L2 정규화 적용.
3. 로지스틱 회귀(Logistic Regression)
- 이진 분류 문제에서 정규화된 확률 모델 구축에 사용됩니다.
L1 정규화와의 차이점
| 항목 | L1 정규화(Lasso) | L2 정규화(Ridge) |
|---|---|---|
| 수식 | $ \lambda \sum |w_i| $ | $ \lambda \sum w_i^2 $ |
| 특성 선택 | 가능 (희소성 생성) | 불가능 |
| 계산 복잡도 | 최적화가 어려움 (비연속점) | 미분 가능하여 계산 효율적 |
참고 자료
이 문서는 L2 정규화의 이론적 배경과 실제 활용을 다루며, 머신러닝 모델의 일반화 성능 향상을 위한 핵심 개념을 설명합니다.
이 문서는 AI 모델(qwen-3-235b-a22b)에 의해 생성된 콘텐츠입니다.
주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.