Kullback-Leibler Divergence (KL 발산) Kullback-Leibler Divergence(KL 발산)는 두 확률 분포의 차이를 측정하는 비대칭적 지표로, 정보이론 관점에서 하나의 분포가 다른 분포와 얼마나 다른지를 수치화한 척도이다. 1. 개요 KL 발산은 정보이론에서 상대 엔트로피(Relative Entropy)라고도 불리며, 실…
검색 결과
검색어를 입력하세요.
엔트로피 (Entropy) 1. 개요 엔트로피는 시스템의 미시적 상태의 수 또는 에너지의 분산 정도를 나타내는 물리량으로, 열역학, 통계역학, 정보이론 등 다양한 과학 분야에서 시스템의 상태와 변화 방향을 설명하는 핵심 지표로 사용된다. 흔히 '무질서도'라고 표현되지만, 엄밀하게는 시스템이 가질 수 있는 미시적 상태의 수나 정보의 불확실성을 의미한다. 열역…
편집 채널 (Editing Channel) 1. 개요 편집 채널(Editing Channel)이란 전송된 데이터 시퀀스에서 심볼의 값이 변하거나, 일부가 누락되거나, 혹은 임의의 심볼이 추가되어 입력 시퀀스와 출력 시퀀스의 길이가 달라질 수 있는 통신 채널 모델을 의미한다. 일반적인 통신 채널이 심볼의 값 변화(Bit Flip)만을 다루는 것과 달리, 편집…
상호 정보량 개요 상호 정보량(Mutual Information, MI)은 정보이론에서 두 확률변수 간의 상관관계를 측정하는 중요한 개념입니다. 즉, 한 변수에 대한 정보가 다른 변수에 대해 얼마나 많은 정보를 제공하는지를 수치적으로 나타냅니다. 상호 정보량은 통계학, 기계학습, 신호처리, 자연어 처리 등 다양한 분야에서 변수 간의 종속성 분석에 활용됩니다…