# 정규화 ## 개요 정규화(Normalization)는 데이터과학과 머신러닝 분야에서 모델의 성능을 향상시키고 학습 과정을 안정화하기 위해 사용되는 핵심 기법 중 하나입니다. 주로 입력 데이터나 모델 내부의 활성값(activations)을 특정 범위나 분포로 조정함으로써 기울기 소실(gradient vanishing) 또는 기울기 폭주(gradient...
검색 결과
"수치적 안정성"에 대한 검색 결과 (총 24개)
# BFGS **BFGS**(Broyden–Fletcher–Goldfarb–Shanno 알고리즘은 비선형 최적화 문제에서 널리 사용되는 준뉴턴(Quasi-Newton) 방법 중 하나로, 목적 함수의 최소값을 반복적으로 탐색하는 데 효과적입니다. 특히, 목적 함수의 2차 미분(헤시안 행렬)을 직접 계산하지 않고도 뉴턴 방법과 유사한 수렴 성능을 달성할 수 ...
# L2 정규화 ## 개요 L2 정규화(Ridge Regularization)는 머신러닝 모델의 **과적합**(Overfitting)을 방지하기 위해 사용되는 기법입니다. 이는 손실 함수(Loss Function)에 **가중치의 제곱합**을 패널티 항으로 추가하여 모델 복잡도를 제어하는 방식으로 작동합니다. 특히 데이터가 적거나 특성(Feature) 수가...
# 정규화 (Regularization) ## 개요 정규화는 머신러닝 모델이 훈련 데이터에 과적합(overfitting)되는 것을 방지하기 위해 사용하는 기법입니다. 과적합은 모델이 학습 데이터의 노이즈나 특수한 패턴을 너무 잘 기억해, 새로운 데이터에 대한 일반화 능력이 떨어지는 현상을 의미합니다. 정규화는 모델의 복잡도를 제어하여 이 문제를 해결하고,...