# 가중치 행렬 ## 개요 **가중치 행렬**(Weight Matrix)은 인공신경망(Artificial Neural Network, ANN)의 핵심 구성 요소 중 하나로, 뉴런 간의 연결 강도를 수치적으로 표현한 행렬입니다. 이 행렬은 입력 신호가 네트워크를 통해 전파될 때 각 연결 경로에 적용되는 가중치를 담고 있으며, 신경망이 학습하는 과정은 주로...
검색 결과
"가중치 업데이트"에 대한 검색 결과 (총 11개)
# tanh ## 개요 **tanh**(하이퍼볼릭 탄젠트, Hyperbolic Tangent)는 인공신경망에서 널리 사용되는 **비선형 활성화 함수** 중 하나입니다. 수학적으로는 입력값에 대한 하이퍼볼릭 탄젠트 값을 출력하며, 출력 범위가 **-1에서 1 사이**로 제한된다는 특징을 가지고 있습니다. 이는 신경망의 학습 안정성과 수렴 속도에 긍정적인 ...
# 모델 훈련 ## 개요 모델 훈련(Model)은 머신닝(Machine Learning) 핵심 과정, 주어진 데이터를 기반으로 모델이 특정 작업을 수행할 수 있도록 학습시키는 절차를 의미합니다. 이 과정에서 알고리즘은 입력 데이터와 정답(라벨) 사이의 관계를 학습하여, 새로운 데이터에 대해 정확한 예측이나 판단을 내릴 수 있는 능력을 획득하게 됩니다. ...
# 파인튜닝 **파인튜닝**(Fine-tuning)은 사전 훈련된(pre-trained) 머신러닝 모델을 특정 작업이나 도메인에 맞게 추가로 훈련하여 성능을 개선하는 기법입니다. 주로 딥러닝 기반의 대규모 모델, 특히 자연어 처리(NLP), 컴퓨터 비전(CV), 음성 인식 등에서 널리 사용되며, 전이 학습(Transfer Learning)의 한 형태로 간...
# L2 정규화 개요 **L2 정규화**(2 Regularization), 또는 **리지 정규화**(Ridge Regularization), **중치 감소**(Weight Decay)는 머신러닝 및 딥러닝 모델에서 **과적합**(Overfitting)을 방지하기 위해 사용되는 대표적인 정규화 기법 중 하나입니다. 이 방법은 모델의 가중치에 제약을 가하...
# 파인튜닝 ## 개요 **파인튜닝**(Fine-tuning)은 사전 훈련된(pre-trained) 인공지능 모델을 특정 작업이나 도메인에 맞게 추가로 훈련하여 성능을 최적화하는 기법입니다. 주로 딥러닝 기반의 자연어 처리(NLP), 컴퓨터 비전(CV), 음성 인식 등 다양한 분야에서 널리 사용되며, 전이 학습(Transfer Learning)의 핵심 ...
기울기 폭주 ## 개요 **기울기 폭주**(Gradient Explosion)는 딥닝 모델 학습정에서 발생할 수 있는 주요 문제 중 하나로, 역전파(backpropagation) 단계에서 기울기(Gradient)의 크기가 지나치게 커져 모델의 가중치 업데이트가 불안정해지는 현상을 말합니다. 이 현상은 특히은 신경망(deep neural networks)...
# L2 정규화 ## 개요 L2 정규화(Ridge Regularization)는 머신러닝 모델의 **과적합**(Overfitting)을 방지하기 위해 사용되는 기법입니다. 이는 손실 함수(Loss Function)에 **가중치의 제곱합**을 패널티 항으로 추가하여 모델 복잡도를 제어하는 방식으로 작동합니다. 특히 데이터가 적거나 특성(Feature) 수가...
# 백프로파게이션 (Backpropagation) ## 개요 백프로파게이션(Backpropagation)은 인공 신경망(Artificial Neural Network, ANN)을 학습시키는 데 사용되는 주요 알고리즘 중 하나입니다. 이 기법은 **오차 역전파**라고도 불리며, 네트워크의 출력과 실제 타겟 값 사이의 오차를 최소화하기 위해 가중치와 편향을 ...
# 시그모이드 함수 ## 개요 시그모이드 함수(Sigmoid Function)는 **0에서 1 사이의 값을 출력**하는 비선형 활성화 함수로, 인공지능(AI) 및 머신러닝(ML) 분야에서 널리 사용됩니다. 이 함수는 로지스틱 회귀(Logistic Regression), 신경망(Neural Network) 등에서 **확률을 예측**하거나 **이진 분류(Bi...
# 하이퍼파라메터 ## 개요/소개 하이퍼파라메터(Hyperparameter)는 머신러닝 모델의 학습 과정에서 **사전에 설정되는 조절 매개변수**로, 모델의 성능과 수렴 속도에 직접적인 영향을 미칩니다. 이는 학습 알고리즘 내부에서 자동으로 계산되지 않으며, 개발자가 직접 정의해야 하는 파라메터입니다. 예를 들어, 신경망의 경우 레이어 수, 노드 수, 활...