# 확률적 경사 하강법 ## 개요 **확적 경사 하강**(Stochastic Gradientcent, 이하 SGD은 머신러닝 데이터과학 분야에서 널리 사용되는 최적화 알고리즘 중 하나로, 손실(Loss Function)를 최화하기 위해 모델의 파라미터 반복적으로 업데이트하는 방법입니다. 특히 대규모 데이터셋을 처리할 때 전통적인 경사 하강법(Batch ...

# 미세 조정 개요 **미세 조정**(Fine-tuning)은 머신러닝, 특히 딥러닝 분야에서 사전 훈련된(pre-trained) 모델 새로운 과제(task)에 맞게 추가로 훈련하여 성능을 개선하는법입니다. 이은 대규모 데이터셋으로 학습된 모델의 일반적인 특징 추출 능력을 활용하면서도, 특정 도메인이나 목적에 최적화된 성능을 얻을 수 있도록 해줍니다....

# 파인튜닝 ## 개요 **파인튜닝**(Fine-tuning)은 사전 훈련된(pre-trained) 머신러닝 모델을 특정 과제나 도메인에 맞게 추가로 훈련하여 성능을 개선하는 과정을 의미합니다. 자연어처리(NLP, Natural Language Processing) 분야에서 파인튜닝은 전이학습(Transfer Learning)의 핵심 기법으로 자리 잡았...

# 파인튜닝 **파인튜닝**(Fine-tuning)은 사전 훈련된(pre-trained) 머신러닝 모델을 특정 작업이나 도메인에 맞게 추가로 훈련하여 성능을 개선하는 기법입니다. 주로 딥러닝 기반의 대규모 모델, 특히 자연어 처리(NLP), 컴퓨터 비전(CV), 음성 인식 등에서 널리 사용되며, 전이 학습(Transfer Learning)의 한 형태로 간...

# 정규 방정식 ## 개요 정규 방정식(Normal Equation)은 **선형 회귀 분석**(Linear Regression)에서 최적의 파라미터(계수)를 직접 계산하는 수학적 방법입니다. 이 방법은 반복적 최적화 알고리즘인 경사 하강법(Gradient Descent)과 달리, 행렬 연산을 통해 해를 한 번에 도출합니다. 주로 **작은 데이터셋** 또는...

# 미니 배치 경사 하강법 ## 개요 미니 배치 경사 하강법(Mini-Batch Gradient Descent)은 기계 학습에서 파라미터 최적화를 위한 주요 알고리즘 중 하나로, **배치 경사 하강법(Batch Gradient Descent)**과 **스토캐스틱 경사 하강법(Stochastic Gradient Descent)**의 중간 형태이다. 이 방법...

# 경사 하강법 ## 개요 경사 하강법(Gradient Descent)은 머신러닝에서 모델의 파라미터를 최적화하기 위한 기본적인 최적화 알고리즘입니다. 이 방법은 **비용 함수(cost function)**의 기울기(gradient)를 계산하여, 매개변수를 반복적으로 조정해 최소값을 찾는 과정입니다. 경사 하강법은 신경망, 회귀 모델 등 다양한 학습 알고...

# 학습률 ## 개요 학습률(Learning Rate)은 기계학습 모델이 손실 함수를 최소화하기 위해 파라미터를 업데이트할 때의 변화량을 결정하는 **핵심 하이퍼파라미터**입니다. 이 값은 모델의 학습 속도와 수렴 성능에 직접적인 영향을 미치며, 적절한 설정 없이는 과적합(overfitting)이나 수렴 실패(convergence failure)로 이어질...