# 확률적 경사 하강법

## 개요

**확적 경사 하강**(Stochastic Gradientcent, 이하 SGD은 머신러닝 데이터과학 분야에서 널리 사용되는 최적화 알고리즘 중 하나로, 손실(Loss Function)를 최화하기 위해 모델의 파라미터 반복적으로 업데이트하는 방법입니다. 특히 대규모 데이터셋을 처리할 때 전통적인 경사 하강법(Batch Gradient Descent)보다 효율적이고 실용적인 대안으로 평가받고 있습니다.

SGD는 데이터의 전체 배치를 사용하지 않고, 각 반복(iteration)에서 하나 또는 소수의 샘플만을 사용하여 경사(gradient)를 계산함으로써 계산 비용을 크게 줄입니다. 이로 인해 학습 속도가 빨라지고, 메모리 사용량도 감소하지만, 경사 추정의 노이즈가 증가하여 수렴 과정이 다소 불안정해질 수 있습니다.

---

## 기본 원리

### 경사 하강법과의 비교

전통적인 **배치 경사 하강법**(Batch Gradient Descent)은 매 업데이트마다 전체 훈련 데이터셋을 사용하여 손실 함수의 기울기(경사)를 계산합니다. 이 방식은 수렴이 안정적이지만, 데이터가 클 경우 계산 비용이 매우 커져 실용성이 떨어집니다.

반면, **확률적 경사 하강법**(SGD)은 각 반복에서 **하나의 훈련 샘플**을 무작위로 선택하고, 해당 샘플에 대한 손실 함수의 기울기를 계산하여 파라미터를 업데이트합니다. 이 방식은 다음과 같은 특징을 가집니다:

- **빠른 업데이트**: 매 스텝마다 계산이 빠르므로, 반복 횟수를 늘려도 전체 학습 시간이 짧을 수 있음.
- **노이즈가 있음**: 단일 샘플 기반 경사는 전체 데이터의 평균 경사와 다를 수 있어, 파라미터 업데이트 경로가 진동할 수 있음.
- **국소 최적점 탈출 가능성**: 노이즈 덕분에 지역 최솟값(local minimum)에서 벗어날 확률이 증가.

### 수학적 표현

모델의 손실 함수를 \( J(\theta) \)라 하고, \(\theta\)는 모델 파라미터 벡터입니다. 전체 손실 함수는 일반적으로 다음과 같이 정의됩니다:

\[
J(\theta) = \frac{1}{N} \sum_{i=}^{N} L(\theta; x_i, y_i)
\]

여기서 \(L(\theta; x_i, y_i)\)는 \(i\)번째 샘플 \((x_i, y_i)\)에 대한 손실 값이며, \(N\)은 전체 샘플 수입니다.

SGD는 이 손실 함수의 전체 기울기를 계산하는 대신, 각 스텝에서 하나의 샘플 \(i\)를 선택하여 다음과 같이 파라미터를 업데이트합니다:

\[
\theta_{t+1} = \theta_t - \eta \nabla_\theta L(\theta_t; x_i, y_i)
\]

여기서 \(\eta\)는 **학습률**(learning rate)이며, 업데이트의 크기를 조절합니다.

---

## 변형 및 개선된 버전

기본 SGD는 단순하고 빠르지만, 수렴 속도와 안정성 면에서 한계가 있어 다양한 변형 알고리즘이 제안되었습니다.

### 1. 미니배치 경사 하강법 (Mini-batch Gradient Descent)

SGD와 배치 경사 하강법의 중간 형태로, 매 스텝에서 소수의 샘플(예: 32, 64, 128개)을 묶어 **미니배치**(mini-batch)로 사용합니다. 이 방식은 다음과 같은 장점을 가집니다:

- 계산 효율성 향상 (벡터화 연산 가능)
- 경사 추정의 분산 감소 → 더 안정적인 업데이트
- GPU 등 하드웨어 가속기와 잘 결합됨

### 2. 모멘텀 (Momentum)

기본 SGD는 노이즈가 많고 진동이 심할 수 있으므로, **모멘텀** 기법을 도입하여 이전 업데이트 방향을 고려합니다. 이는 물리학의 관성 개념에서 유래했으며, 수렴 속도를 높이고 진동을 줄입니다.

업데이트 규칙:
\[
\begin{aligned}
v_{t+1} &= \gamma v_t + \eta \nabla_\theta L(\theta_t; x_i, y_i) \\
\theta_{t+1} &= \theta_t - v_{t+1}
\end{aligned}
\]

여기서 \(v_t\)는 속도 벡터, \(\gamma\)는 모멘텀 계수 (일반적으로 0.9).

### 3. AdaGrad, RMSProp, Adam

이러한 알고리즘들은 **자체 학습률 조정**(adaptive learning rate) 기능을 제공합니다.

- **AdaGrad**: 자주 업데이트되는 파라미터는 학습률을 줄이고, 드문 파라미터는 더 크게 업데이트.
- **RMSProp**: AdaGrad의 과도한 학습률 감소 문제를 해결하기 위해 지수 가중 이동 평균 사용.
- **Adam (Adaptive Moment Estimation)**: 모멘텀과 RMSProp을 결합한 방식으로, 현재 가장 널리 사용되는 최적화 알고리즘 중 하나.

---

## 장점과 단점

| 항목 | 설명 |
|------|------|
| ✅ **장점** | - 대규모 데이터셋에 적합<br>- 계산 및 메모리 효율성 우수<br>- 실시간 학습 가능 (온라인 학습)<br>- 지역 최솟값 탈출 가능성 있음 |
| ❌ **단점** | - 업데이트 경로 불안정 (노이즈)<br>- 학습률 조정이 중요 (너무 크면 발산, 너무 작으면 느림)<br>- 수렴 속도가 초기에는 빠르지만 정밀도는 낮을 수 있음 |

---

## 활용 사례

- **신경망 학습**: 딥러닝 모델의 가중치 최적화에 필수적으로 사용.
- **온라인 학습 시스템**: 실시간으로 데이터가 유입되는 환경 (예: 추천 시스템).
- **대규모 회귀/분류 문제**: 수백만 건 이상의 데이터를 처리할 때 SGD 기반 라이브러리 활용 (예: Scikit-learn의 `SGDClassifier`, `SGDRegressor`).

---

## 관련 참고 자료

- [Bottou, L. (2010). *Large-scale machine learning with stochastic gradient descent*](https://doi.org/10.1007/978-3-7908-2604-3_16)
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press. (Chapter 8: Optimization for Training Deep Models)
- Scikit-learn 공식 문서: [SGD 모듈](https://scikit-learn.org/stable/modules/sgd.html)

---

## 결론

확률적 경사 하강법은 데이터과학과 머신러닝의 핵심 최적화 기법으로, 대용량 데이터 처리의 효율성과 실용성을 제공합니다. 비록 기본 형태는 노이즈가 크고 불안정할 수 있지만, 미니배치, 모멘텀, Adam 등의 개선 기법을 통해 현대 딥러닝의 기반이 되고 있습니다. 효과적인 하이퍼파라미터 튜닝과 함께 사용하면 빠르고 강력한 모델 학습이 가능합니다.