# 정보 이론 (Information Theory)

**정보 이론**(Information Theory)은 정보의 정량화, 저장, 통신을 연구하는 수학의 한 분야입니다. 이 이론은 클로드 섀넌(Claude Shannon)이 1948년 발표한 논문 "통신의 수학적 이론(A Mathematical Theory of Communication)"을 기원으로 하며, 현대 디지털 통신 시스템, 데이터 압축, 암호학, 머신러닝 등 다양한 기술 분야의 기초가 됩니다.

## 개요

정보 이론은 본질적으로 "정보란 무엇인가?"라는 철학적 질문을 수학적 모델로 풀어냅니다. 여기서 말하는 정보는 불확실성을 줄이는 정도, 즉 예측 불가능한 사건이 발생했을 때 얻게 되는 새로운 지식의 양으로 정의됩니다. 정보 이론의 핵심 목표는 효율적인 데이터 전송과 저장 방법을 찾는 것이며, 이를 위해 엔트로피(Entropy), 상호 정보량(Mutual Information), 채널 용량(Channel Capacity) 등의 개념을 사용합니다.

## 핵심 개념

정보 이론을 이해하기 위해서는 몇 가지 기본적이고 필수적인 개념들을 파악해야 합니다.

### 1. 엔트로피 (Entropy)

엔트로피는 정보의 불확실성 또는 무질서도를 측정하는 척도입니다. 어떤 사건이 발생할 확률이 균등할수록(예: 공정한 동전 던지기) 엔트로피는 최대가 되며, 결과가 이미 예측 가능할수록(예: 고정된 동전) 엔트로피는 0에 가까워집니다.

*   **정의**: 이산 확률 변수 $X$의 엔트로피 $H(X)$는 다음과 같이 정의됩니다.
    $$ H(X) = - \sum_{i} p(x_i) \log_b p(x_i) $$
    여기서 $p(x_i)$는 사건 $x_i$가 발생할 확률이며, 로그의 밑 $b$는 일반적으로 2(비트 단위)입니다.
*   **의미**: 엔트로피가 높다는 것은 해당 데이터 소스가 더 많은 정보를 포함하고 있으며, 따라서 압축 시 더 많은 비트가 필요함을 의미합니다.

### 2. 상호 정보량 (Mutual Information)

상호 정보량은 두 확률 변수 간에 공유되는 정보의 양을 나타냅니다. 한 변수의 값을 알았을 때 다른 변수에 대한 불확실성이 얼마나 감소하는지를 측정합니다. 이는 노이즈가 있는 통신 채널에서 신호의 왜곡 정도를 분석하거나, 머신러닝에서 특징 선택(Feature Selection)에 활용됩니다.

### 3. 채널 용량 (Channel Capacity)

채널 용량은 잡음(Noise)이 있는 통신 채널을 통해 오류 없이 전송할 수 있는 최대 정보 전송률입니다. 섀넌의 제2정리는 특정 채널 용량 $C$보다 낮은 전송률 $R$이라면, 충분히 긴 코드를 사용하여 오류 확률을 임의의 작은 값 $\epsilon$ 이하로 낮출 수 있다고 주장합니다. 이는 현대 통신 시스템(예: 5G, Wi-Fi)의 오류 정정 코드 설계에 이론적 한계를 제공합니다.

## 주요 응용 분야

정보 이론은 순수 수학적인 이론을 넘어 실제 공학 및 컴퓨터 과학 전반에 광범위하게 적용됩니다.

### 데이터 압축 (Data Compression)

데이터 압축은 정보 이론의 가장 직접적인 응용 분야입니다.
*   **무손실 압축**: 해프만 코딩(Huffman Coding)이나 LZW 알고리즘은 빈도수가 높은 심볼에 짧은 코드를 할당하여 평균 코드 길이를 엔트로피 한계까지 줄입니다.
*   **손실 압축**: JPEG(이미지), MP3(오디오) 등은 인간의 지각 한계를 고려하여 불필요한 정보를 과감히 제거하여 압축률을 극대화합니다.

### 오류 정정 부호 (Error-Correcting Codes)

통신 과정에서 발생할 수 비트 오류를 감지하고 수정하기 위한 기술입니다.
*   **해밍 코드(Hamming Code)**: 간단한 패리티 비트를 추가하여 단일 비트 오류를 정정합니다.
*   **LDPC 코드 및 터보 코드**: 섀넌 한계에 근접하는 성능을 보이며, 현대 위성 통신 및 모바일 통신 표준에 널리 사용됩니다.

### 암호학 (Cryptography)

정보 이론은 암호 시스템의 안전성을 평가하는 데에도 사용됩니다.
*   **완전 비밀성(Perfect Secrecy)**: 케네스 섀넌은 일회용 패드(One-time Pad)가 정보 이론적으로 해독 불가능함을 증명했습니다.
*   **정보 이론적 보안**: 계산적 복잡성에 의존하지 않고, 수학적으로 절대 해독될 수 없는 보안 체계를 의미합니다.

## 관련 이론 및 발전

정보 이론은 이후 여러 분야로 확장되었습니다.

*   **알고리즘 정보 이론**: 콜모고로프 복잡성(Kolmogorov Complexity)을 통해 데이터의 복잡성을 정의하며, 데이터 압축의 이론적 한계를 탐구합니다.
*   **통계 역학과의 연관성**: 볼츠만 엔트로피와 섀넌 엔트로피는 수학적 형태가 동일하여, 물리학과 정보 과학 간의 깊은 연결고리를 보여줍니다.
*   **머신러닝**: 엔트로피와 상호 정보량은 의사결정 나무(Decision Tree)의 분할 기준, 생성 모델의 손실 함수 등으로 활용됩니다.

## 참고 자료 및 관련 문서

*   **클로드 섀넌 (Claude Shannon)**: 정보 이론의 아버지.
*   **섀넌의 소스 정리 정리 (Source Coding Theorem)**: 데이터 압축의 이론적 한계.
*   **섀넌의 채널 부호화 정리 (Channel Coding Theorem)**: 오류 정정 코드의 존재성 증명.
*   **관련 문서**: 데이터 구조, 네트워크 보안, 디지털 신호 처리, 머신러닝 기초.

정보 이론은 디지털 시대의 숨겨진 엔진과 같습니다. 우리가 매일 사용하는 스마트폰의 빠른 데이터 전송부터 클라우드 저장소의 효율적인 공간 활용까지, 그 이면에는 정보 이론의 수학적 원리가 작동하고 있습니다.

## 정보 이론의 주요 정리

정보 이론의 핵심은 섀넌이 정립한 두 가지 주요 정리에 기반합니다.

### 1. 섀넌의 소스 코딩 정리 (제1정리)
소스 코딩 정리는 데이터 압축의 이론적 한계를 규정합니다.
*   **의미**: 어떤 정보원(Source)에서 발생하는 심볼들의 엔트로피가 $H(X)$일 때, 심볼 하나당 평균적으로 $H(X)$ 비트보다 적은 비트로 표현하면서 원래의 정보를 무손실로 복원하는 것은 불가능합니다.
*   **수학적 함의**: 평균 코드 길이 $L$은 항상 $L \ge H(X)$를 만족하며, 적절한 부호화 기법을 통해 $L$을 $H(X)$에 임의로 가깝게 만들 수 있습니다.

### 2. 섀넌의 채널 코딩 정리 (제2정리)
채널 코딩 정리는 잡음이 있는 채널에서 신뢰성 있는 통신이 가능한 최대 전송률을 정의합니다.
*   **수식**: 가우시안 잡음이 있는 채널의 용량 $C$는 다음과 같이 정의됩니다.
    $$ C = W \log_2 \left( 1 + \frac{S}{N} \right) $$
    (여기서 $W$는 대역폭, $S$는 신호 전력, $N$은 잡음 전력입니다.)
*   **증명 과정 및 의미**: 섀넌은 무작위 코딩(Random Coding) 기법을 사용하여, 전송률 $R < C$인 경우 오류 확률을 0으로 수렴하게 만드는 부호가 반드시 존재함을 증명했습니다. 반면 $R > C$라면 오류 확률을 일정 수준 이하로 낮추는 것이 수학적으로 불가능합니다.

## 현대적 확장 및 최신 동향

정보 이론은 고전적인 비트(Bit) 단위를 넘어 양자 역학과 복잡한 네트워크 구조로 확장되고 있습니다.

### 양자 정보 이론 (Quantum Information Theory)
양자 정보 이론은 0과 1의 중첩 상태인 큐비트(Qubit)를 기본 단위로 합니다.
*   **폰 노이만 엔트로피 (Von Neumann Entropy)**: 양자 상태의 불확실성을 측정하는 척도로, 밀도 행렬 $\rho$를 이용하여 다음과 같이 정의됩니다.
    $$ S(\rho) = - \text{Tr}(\rho \log \rho) $$
    이는 고전적 섀넌 엔트로피의 양자 역학적 일반화 형태입니다.

### 네트워크 정보 이론
단일 송신자와 수신자 모델에서 벗어나, 다수의 노드가 상호작용하는 네트워크 환경에서의 정보 흐름을 연구합니다. 다중 접속 채널(MAC)이나 중계 채널(Relay Channel)에서의 용량 최적화 등이 주요 연구 대상입니다.

## 정보량 측정의 다각적 관점

엔트로피의 개념을 확장하여 조건부 상황이나 두 확률 분포 간의 차이를 측정합니다.

### 조건부 엔트로피 (Conditional Entropy)
변수 $Y$의 값이 주어졌을 때 변수 $X$에 남아있는 불확실성을 의미합니다.
$$ H(X|Y) = - \sum_{x,y} p(x,y) \log p(x|y) $$

### 상대 엔트로피 (Kullback-Leibler Divergence)
두 확률 분포 $P$와 $Q$가 얼마나 다른지를 측정하는 척도로, 'KL 발산'이라고도 합니다.
$$ D_{KL}(P \parallel Q) = \sum_{i} P(x_i) \log \frac{P(x_i)}{Q(x_i)} $$
이는 실제 분포 $P$를 근사 분포 $Q$로 인코딩했을 때 발생하는 추가적인 비트 수를 의미합니다.

## 머신러닝에서의 교차 엔트로피 활용

딥러닝의 분류 문제에서 모델의 예측 확률 분포 $q$와 실제 정답 레이블의 분포 $p$ 사이의 차이를 최소화하기 위해 **교차 엔트로피(Cross-Entropy)** 손실 함수를 사용합니다.

*   **수식**: $H(p, q) = - \sum_{i} p(x_i) \log q(x_i)$
*   **계산 예시**:
    - 실제 정답($p$): [1, 0] (강아지일 확률 100%)
    - 모델 예측($q$): [0.8, 0.2] (강아지일 확률 80%, 고양이일 확률 20%)
    - 계산: $-(1 \cdot \log 0.8 + 0 \cdot \log 0.2) \approx -(-0.223) = 0.223$
    - 만약 모델이 [0.1, 0.9]로 예측했다면, $-(1 \cdot \log 0.1) \approx 2.302$가 되어 손실 값이 급격히 증가하며 모델에 강한 페널티를 줍니다.

## 정보와 물리적 에너지의 관계

정보 이론은 통계 역학의 엔트로피 개념과 결합하여 물리적 실체로서의 정보를 다룹니다.

### 맥스웰의 도깨비 (Maxwell's Demon)
분자의 속도를 측정해 뜨거운 분자와 차가운 분자를 분리함으로써 엔트로피를 낮추려는 가상의 존재입니다. 이 역설은 "정보를 획득하고 처리하는 과정" 자체가 물리적 비용을 수반한다는 점을 시사합니다.

### 란다우어의 원리 (Landauer's Principle)
정보의 삭제가 물리적인 열 발생을 일으킨다는 원리입니다. 1비트의 정보를 삭제할 때 최소 $\text{kT} \ln 2$ 만큼의 열에너지가 방출되어야 함을 명시하며, 이는 정보 처리가 단순한 수학적 추상이 아니라 물리적인 과정임을 증명합니다.