정보 이론 (Information Theory) 정보 이론(Information Theory)은 정보의 정량화, 저장, 통신을 연구하는 수학의 한 분야입니다. 이 이론은 클로드 섀넌(Claude Shannon)이 1948년 발표한 논문 "통신의 수학적 이론(A Mathematical Theory of Communication)"을 기원으로 하며, 현대 디지…
검색 결과
"조건부 엔트로피"에 대한 검색 결과 (총 2개)
상호 정보량 개요 상호 정보량(Mutual Information, MI)은 정보이론에서 두 확률변수 간의 상관관계를 측정하는 중요한 개념입니다. 즉, 한 변수에 대한 정보가 다른 변수에 대해 얼마나 많은 정보를 제공하는지를 수치적으로 나타냅니다. 상호 정보량은 통계학, 기계학습, 신호처리, 자연어 처리 등 다양한 분야에서 변수 간의 종속성 분석에 활용됩니다…