상호 정보량
상호 정보량
개요
상호 정보량(Mutual Information, MI)은 정보이론에서 두 확률변수 간의 상관관계를 측정하는 중요한 개념입니다. 즉, 한 변수에 대한 정보가 다른 변수에 대해 얼마나 많은 정보를 제공하는지를 수치적으로 나타냅니다. 상호 정보량은 통계학, 기계학습, 신호처리, 자연어 처리 등 다양한 분야에서 변수 간의 종속성 분석에 활용됩니다.
상호 정보량은 1948년 클로드 섀넌(Claude Shannon)이 제안한 정보이론의 핵심 개념 중 하나로, 엔트로피와 함께 정보의 양을 정량화하는 데 사용됩니다. 두 변수가 서로 독립일 경우 상호 정보량은 0이 되며, 두 변수가 완전히 결정적인 관계에 있을 경우 상호 정보량은 각 변수의 엔트로피와 같아집니다.
정의와 수학적 표현
상호 정보량은 두 확률변수 $X$와 $Y$ 사이의 정보 공유 정도를 측정합니다. 수학적으로는 다음과 같이 정의됩니다:
기본 정의
$$ I(X; Y) = \sum_{x \in X} \sum_{y \in Y} p(x, y) \log \left( \frac{p(x, y)}{p(x)p(y)} \right) $$
여기서: - $p(x, y)$: $X$와 $Y$의 결합 확률 분포 - $p(x)$, $p(y)$: 각각 $X$와 $Y$의 주변 확률 분포
이 식은 두 변수의 결합 분포와 독립 가정 하의 분포 간의 쿨백-라이블러 발산(Kullback-Leibler Divergence)으로도 해석할 수 있습니다:
$$ I(X; Y) = D_{\text{KL}} \left( p(x, y) \parallel p(x)p(y) \right) $$
엔트로피를 이용한 표현
상호 정보량은 엔트로피(불확실성)의 감소로도 해석할 수 있습니다. 다음의 여러 등가 표현이 존재합니다:
$$ I(X; Y) = H(X) - H(X|Y) $$ $$ I(X; Y) = H(Y) - H(Y|X) $$ $$ I(X; Y) = H(X) + H(Y) - H(X, Y) $$
여기서: - $H(X)$: $X$의 엔트로피 (정보량의 평균) - $H(X|Y)$: $Y$를 알 때의 $X$의 조건부 엔트로피 - $H(X, Y)$: $X$와 $Y$의 결합 엔트로피
이들 관계는 상호 정보량이 "한 변수를 알았을 때 다른 변수의 불확실성이 얼마나 줄어드는가"를 나타낸다는 직관적인 의미를 부여합니다.
성질
상호 정보량은 다음과 같은 중요한 수학적 성질을 가집니다:
-
비음성(Non-negativity):
$I(X; Y) \geq 0$
등호는 $X$와 $Y$가 독립일 때 성립. -
대칭성(Symmetry):
$I(X; Y) = I(Y; X)$ -
최대값:
$I(X; Y) \leq \min(H(X), H(Y))$
두 변수 중 더 작은 엔트로피 값을 넘을 수 없음. -
독립성과의 관계:
$X \perp Y$ (독립)일 때 $I(X; Y) = 0$ -
결합 엔트로피와의 관계:
전체 정보량에서 중복 정보를 제거하는 역할.
연속 확률변수로의 확장
이산 변수에 대한 정의 외에도, 연속 확률변수의 경우 미분 엔트로피(differential entropy)를 사용하여 상호 정보량을 정의할 수 있습니다:
$$ I(X; Y) = \int \int p(x, y) \log \left( \frac{p(x, y)}{p(x)p(y)} \right) dx\,dy $$
이 경우에도 이산 경우와 동일한 성질이 유지되며, 가우시안 분포 변수 간의 상호 정보량은 상관계수 $\rho$를 이용해 다음과 같이 표현됩니다:
$$ I(X; Y) = -\frac{1}{2} \log(1 - \rho^2) $$
응용 분야
상호 정보량은 이론적 중요성 외에도 다양한 실용적 응용이 존재합니다.
1. 기계학습: 특성 선택(Feature Selection)
특성 간의 상호 정보량을 계산하여, 타겟 변수와 높은 정보 공유를 가진 특성을 선택하는 데 사용됩니다. 이는 차원 축소 및 모델 성능 향상에 기여합니다.
2. 자연어 처리(NLP)
- 단어 간의 의미적 관계 분석
- 기계 번역에서의 정렬(alignment) 모델링
- 주제 모델링에서의 변수 간 종속성 평가
3. 신호 처리
- 두 신호 간의 유사성 분석
- 잡음 제거 및 정보 복원
4. 의학 및 생물정보학
- 유전자 간의 상호작용 네트워크 분석
- 뇌파(EEG) 신호 간의 기능적 연결성 평가
계산 방법 및 도전 과제
실제 데이터에서 상호 정보량을 계산하기 위해서는 확률 분포를 추정해야 하며, 이는 다음과 같은 방법들로 수행됩니다:
- 히스토그램 기반 추정
- 커널 밀도 추정(Kernel Density Estimation)
- k-최근접 이웃(k-NN) 기반 추정 (예: Kraskov estimator)
하지만 고차원 데이터에서는 차원의 저주(curse of dimensionality)로 인해 정확한 추정이 어려우며, 표본 수가 부족할 경우 과대추정되는 경향이 있습니다.
관련 개념
-
조건부 상호 정보량(Conditional Mutual Information):
$I(X; Y|Z)$는 $Z$를 고정했을 때 $X$와 $Y$ 간의 상호 정보량을 나타냅니다. -
점별 상호 정보량(Pointwise Mutual Information, PMI):
특정 사건 쌍 $(x, y)$에 대한 정보량을 측정합니다. 자연어 처리에서 단어 동시 출현 빈도 분석에 자주 사용됩니다.
$$ \text{PMI}(x, y) = \log \left( \frac{p(x, y)}{p(x)p(y)} \right) $$ -
정규화된 상호 정보량(Normalized Mutual Information, NMI):
클러스터링 평가 등에서 두 군집 간 유사도를 비교할 때 사용됩니다.
참고 자료 및 관련 문서
- Shannon, C. E. (1948). "A Mathematical Theory of Communication". Bell System Technical Journal.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
- Kraskov, A., Stögbauer, H., & Grassberger, P. (2004). "Estimating mutual information". Physical Review E.
관련 문서: 엔트로피, 정보이론, 쿨백-라이블러 발산, 특성 선택, 조건부 엔트로피
이 문서는 AI 모델(qwen-3-235b-a22b-instruct-2507)에 의해 생성된 콘텐츠입니다.
주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.