경사 하강법

작성자

익명

작성일

2026.07.12

조회수

버전

경사 하강법 머신러닝 최적화 알고리즘 비용 함수 학습률 SGD Adam 알고리즘 중급

📋 문서 버전

이 문서는 2개의 버전이 있습니다. 현재 최신 버전을 보고 있습니다.

경사 하강법

개요

경사 하강법(Gradient Descent)은 머신러닝에서 모델의 파라미터를 최적화하기 위한 기본적인 최적화 알고리즘입니다. 이 방법은 비용 함수(cost function)의 기울기(gradient)를 계산하여, 매개변수를 반복적으로 조정해 최소값을 찾는 과정입니다. 경사 하강법은 신경망, 회귀 모델 등 다양한 학습 알고리즘에서 핵심적인 역할을 합니다.

1. 기본 개념

1.1 정의

경사 하강법은 목표 함수를 최소화하기 위해 매개변수를 반복적으로 업데이트하는 방법입니다. 수학적으로, 이는 다음과 같은 식으로 표현됩니다:

$$ \theta_{t+1} = \theta_t - \eta \cdot \nabla J(\theta_t) $$

$\theta$: 모델의 매개변수
$\eta$: 학습률(learning rate)
$J(\theta)$: 비용 함수

1.2 목적

모델 정확도 향상: 데이터와 예측값 간 오차를 최소화합니다.
최적화: 복잡한 다변량 함수의 최솟값을 효율적으로 찾습니다.

2. 경사 하강법의 종류

2.1 배치 경사 하강법 (Batch Gradient Descent)

특징: 모든 데이터 포인트를 사용해 기울기를 계산합니다.
장점: 안정적인 수렴, 낮은 변동성
단점: 대규모 데이터 처리에 비효율적

2.2 확률적 경사 하강법 (Stochastic Gradient Descent, SGD)

특징: 하나의 데이터 포인트만 사용해 기울기를 계산합니다.
장점: 빠른 수렴, 메모리 효율성
단점: 고주파 변동으로 인한 불안정성

2.3 미니배치 경사 하강법 (Mini-batch Gradient Descent)

특징: 데이터를 작은 배치로 나누어 계산합니다.
장점: 배치와 SGD의 중간적 균형, 병렬 처리 가능
단점: 하이퍼파라미터(배치 크기) 조정 필요

방법	데이터 사용량	속도	안정성
배치	전체	느림	높음
SGD	하나	빠름	낮음
미니배치	작은 배치	중간	중간

3. 알고리즘 작동 원리

3.1 단계별 과정

초기 매개변수 설정: 무작위 값으로 시작합니다.
비용 함수 계산: 현재 매개변수로 예측값과 실제값의 오차를 측정합니다.
기울기 계산: 비용 함수에 대한 편미분을 통해 기울기를 구합니다.
매개변수 업데이트: 학습률을 곱한 기울기를 현재 매개변수에서 뺍니다.
반복: 수렴 조건(예: 변화량이 작아짐)에 도달할 때까지 반복합니다.

3.2 예시 (선형 회귀)

import numpy as np

# 데이터 생성
X = np.array([[1], [2], [3]])
y = np.array([2, 4, 6])

# 초기 매개변수
theta = np.random.rand(1)

# 학습률
eta = 0.1

# 경사 하강법 반복
for _ in range(1000):
    gradient = (2/len(X)) * X.T @ (X @ theta - y)
    theta -= eta * gradient

4. 주요 도전 과제

4.1 학습률 선택

문제: 너무 큰 경우 발산, 너무 작은 경우 수렴 느림
해결책: 동적 학습률 조절(예: Adam 알고리즘)

4.2 지역 최소값 (Local Minima)

문제: 함수가 다수의 최솟값을 가질 때, 전역 최소에 도달하지 못함
해결책: SGD의 노이즈 활용, 모멘텀 기법

4.3 허상 최소값 (Saddle Point)

문제: 기울기가 0인 지점에서 수렴이 멈춤
해결책: 이차 미분 정보 사용(예: 뉴턴 방법)

5. 최적화 기법

5.1 모멘텀 (Momentum)

원리: 이전 기울기의 방향을 고려해 업데이트
수식:
$$ v_t = \beta v_{t-1} + \eta \cdot \nabla J(\theta_t) \\ \theta_{t+1} = \theta_t - v_t $$

5.2 RMSProp

원리: 기울기의 제곱 평균을 이용해 학습률 조정
장점: 고정된 학습률 대신 동적 조절 가능

5.3 Adam 알고리즘

결합 기법: 모멘텀 + RMSProp
수식:
$$ m_t = \beta_1 m_{t-1} + (1-\beta_1)\nabla J(\theta_t) \\ v_t = \beta_2 v_{t-1} + (1-\beta_2)(\nabla J(\theta_t))^2 \\ \hat{m}_t = \frac{m_t}{1 - \beta_1^t}, \quad \hat{v}_t = \frac{v_t}{1 - \beta_2^t} \\ \theta_{t+1} = \theta_t - \eta \cdot \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} $$

6. 결론

경사 하강법은 머신러닝 모델의 학습을 가능하게 하는 핵심 알고리즘입니다. 다양한 변형(배치, SGD, 미니배치)과 최적화 기법(모멘텀, Adam)을 통해 효율적인 수렴이 가능합니다. 그러나 학습률 설정이나 지역 최소값 문제와 같은 도전 과제를 극복하기 위해 지속적인 연구가 필요합니다.