# 경사하강법경사하강법(Graidentcent)은 기계습과 인공지능 분야에서 모델의 학습 과정에서 손실 함수(Loss Function)를 최소화하기 위해 널리 사용되는 **최적화 알고리즘**이다. 이 알고리즘은 주어진 함수의 기울기(경사)를 계산하여, 그 기울기가 가장 가파르게 내려가는 방향으로 매 반복마다 모델의 매개변수를 조정함으로써 최솟값을 찾아가는 ...

# 미세조정 ## 개요 **미세조정**(Fine-tuning)은 사전 훈련된 머신러닝 모델을 특정 작업이나 도메인에 맞게 세부적으로 조정하는 기법입니다. 일반적으로 대규모 데이터셋으로 훈련된 모델(예: ImageNet, BERT)을 기반으로 하여, 새로운 작업에 필요한 작은 데이터셋으로 추가 훈련을 진행합니다. 이는 **전이 학습**(Transfer Le...

# 미니 배치 경사 하강법 ## 개요 미니 배치 경사 하강법(Mini-Batch Gradient Descent)은 기계 학습에서 파라미터 최적화를 위한 주요 알고리즘 중 하나로, **배치 경사 하강법(Batch Gradient Descent)**과 **스토캐스틱 경사 하강법(Stochastic Gradient Descent)**의 중간 형태이다. 이 방법...

# 하이퍼파라메터 ## 개요/소개 하이퍼파라메터(Hyperparameter)는 머신러닝 모델의 학습 과정에서 **사전에 설정되는 조절 매개변수**로, 모델의 성능과 수렴 속도에 직접적인 영향을 미칩니다. 이는 학습 알고리즘 내부에서 자동으로 계산되지 않으며, 개발자가 직접 정의해야 하는 파라메터입니다. 예를 들어, 신경망의 경우 레이어 수, 노드 수, 활...

# 학습률 ## 개요 학습률(Learning Rate)은 기계학습 모델이 손실 함수를 최소화하기 위해 파라미터를 업데이트할 때의 변화량을 결정하는 **핵심 하이퍼파라미터**입니다. 이 값은 모델의 학습 속도와 수렴 성능에 직접적인 영향을 미치며, 적절한 설정 없이는 과적합(overfitting)이나 수렴 실패(convergence failure)로 이어질...