# 손실 함수 ## 개요 머신러닝·딥러닝 모델은 **입력 데이터**와 **정답(라벨)** 사이의 차이를 최소화하도록 학습한다. 이 차이를 수치적으로 표현한 것이 **손실 함수(Loss Function)**이다. 손실 함수는 모델이 현재 얼마나 잘 예측하고 있는지를 정량화하고, 최적화 알고리즘(예: 경사하강법)이 **파라미터를 업데이트**하는 기준이...
검색 결과
"KL 발산"에 대한 검색 결과 (총 2개)
# 상호 정보량 ## 개요 **상호 정보량**(Mutual Information, MI)은 정보이론에서 두 확률변수 간의 상관관계를 측정하는 중요한 개념입니다. 즉, 한 변수에 대한 정보가 다른 변수에 대해 얼마나 많은 정보를 제공하는지를 수치적으로 나타냅니다. 상호 정보량은 통계학, 기계학습, 신호처리, 자연어 처리 등 다양한 분야에서 변수 간의 종속...