# 정보 이론 (Information Theory) **정보 이론**(Information Theory)은 정보의 정량화, 저장, 통신을 연구하는 수학의 한 분야입니다. 이 이론은 클로드 섀넌(Claude Shannon)이 1948년 발표한 논문 "통신의 수학적 이론(A Mathematical Theory of Communication)"을 기원으로 하며...
검색 결과
검색어를 입력하세요.
# 상호 정보량 ## 개요 **상호 정보량**(Mutual Information, MI)은 정보이론에서 두 확률변수 간의 상관관계를 측정하는 중요한 개념입니다. 즉, 한 변수에 대한 정보가 다른 변수에 대해 얼마나 많은 정보를 제공하는지를 수치적으로 나타냅니다. 상호 정보량은 통계학, 기계학습, 신호처리, 자연어 처리 등 다양한 분야에서 변수 간의 종속...