# 변분 추론 (Variational Inference)

**변분 추론(Variational Inference, VI)**은 확률 모델에서 사후 확률(posterior distribution)을 근사하기 위한 방법론 중 하나입니다. 베이지안 통계학에서 사후 확률은 베이즈 정리를 통해 계산되지만, 많은 복잡한 모델에서 정확한 사후 확률의 계산은 불가능하거나 계산 비용이 지나치게 높습니다. 이때 변분 추론은 최적화 문제를 통해 사후 확률의 근사치를 효율적으로 찾아내는 기법으로 널리 사용됩니다.

## 개요

베이지안 추론의 핵심은 관측된 데이터 $D$가 주어졌을 때 모델의 매개변수 $\theta$에 대한 사후 확률 $P(\theta|D)$를 구하는 것입니다. 베이즈 정리에 따르면 이는 다음과 같이 표현됩니다.

$$ P(\theta|D) = \frac{P(D|\theta)P(\theta)}{P(D)} $$

여기서 분모인 $P(D)$는 증거(evidence) 또는 주변 우도(marginal likelihood)라고 불리며, 매개변수 $\theta$에 대해 적분하여 계산됩니다.

$$ P(D) = \int P(D|\theta)P(\theta) d\theta $$

하지만 $\theta$의 차원이 높거나 모델 구조가 복잡할 경우, 이 적분은 해석적으로 풀기 어렵거나 수치적 적분으로도 계산이 불가능한 경우가 많습니다. 이러한 **정규화 상수(normalization constant)의 계산 어려움**을 해결하기 위해 개발된 것이 변분 추론입니다.

변분 추론은 사후 확률 $P(\theta|D)$를 직접 계산하는 대신, 더 간단한 분포족(family of distributions) $Q(\theta)$ 중에서 $P(\theta|D)$와 가장 가까운 분포를 찾는 **최적화 문제**로 변환합니다. 여기서 '가까움'은 일반적으로 두 확률 분포 간의 **클백-라이블러 발산(Kullback-Leibler divergence, KL divergence)**으로 측정됩니다.

## 기본 원리

변분 추론의 목표는 다음과 같은 KL 발산을 최소화하는 분포 $Q^*(\theta)$를 찾는 것입니다.

$$ Q^*(\theta) = \arg\min_{Q \in \mathcal{F}} KL(Q(\theta) || P(\theta|D)) $$

여기서 $\mathcal{F}$는 우리가 선택할 수 있는 분포족(예: 가우시안 분포)을 의미합니다. KL 발산은 $Q$가 $P$를 얼마나 잘 근사하는지를 나타내는 척도이며, $Q$가 $P$와 완전히 일치할 때 0이 됩니다.

### 증거 하한(Evidence Lower Bound, ELBO)

KL 발산을 최소화하는 과정은 직접적으로 수행하기 어렵습니다. 이를 위해 **ELBO(Evidence Lower Bound)**라는 보조 목적 함수를 도입합니다. 로그 주변 우도(log marginal likelihood) $\log P(D)$는 다음과 같이 분해될 수 있습니다.

$$ \log P(D) = KL(Q(\theta) || P(\theta|D)) + \mathcal{L}(Q) $$

여기서 $\mathcal{L}(Q)$가 바로 ELBO입니다. KL 발산은 항상 음이 아니므로, $\log P(D) \geq \mathcal{L}(Q)$가 성립합니다. 따라서 $\log P(D)$를 최대화하는 것은 KL 발산을 최소화하는 것과 동치이며, 이는 곧 **ELBO $\mathcal{L}(Q)$를 최대화하는 문제**로 귀결됩니다.

ELBO의 수식은 다음과 같습니다.

$$ \mathcal{L}(Q) = \mathbb{E}_{Q(\theta)}[\log P(D, \theta)] - \mathbb{E}_{Q(\theta)}[\log Q(\theta)] $$

이 식은 두 가지 항으로 구성됩니다:
1. **재구성 오차(Reconstruction term)**: $\mathbb{E}_{Q(\theta)}[\log P(D, \theta)]$ - 데이터와 매개변수의 결합 우도를 기대값으로 계산한 항.
2. **정규화 항(Regularization term)**: $-\mathbb{E}_{Q(\theta)}[\log Q(\theta)]$ - 분포 $Q$의 엔트로피(무작위성)를 나타내는 항.

변분 추론 알고리즘은 이 ELBO를 최대화하는 $Q$의 매개변수를 찾는 과정입니다.

## 주요 알고리즘 및 접근법

변분 추론을 구현하는 데에는 여러 가지 알고리즘이 사용됩니다.

### 평균 필드 추론 (Mean Field Inference)
가장 기본적인 변분 추론 접근법입니다. 매개변수 벡터 $\theta$의 요소들이 서로 독립이라고 가정합니다. 즉, $Q(\theta) = \prod_{i} Q_i(\theta_i)$ 형태로 분해합니다. 이 가정은 계산의 복잡도를 크게 줄여주지만, 매개변수 간의 상관관계를 무시할 수 있다는 한계가 있습니다.

### 확률적 변분 추론 (Stochastic Variational Inference, SVI)
대규모 데이터셋에서 변분 추론을 적용할 때, 매번 전체 데이터셋을 사용하여 ELBO를 계산하는 것은 비효율적입니다. SVI는 미니배치(mini-batch) 데이터를 사용하여 ELBO의 확률적 근사치를 계산하고, 확률적 경사 하강법(SGD) 등을 통해 매개변수를 업데이트합니다. 이는 딥러닝과의 결합에 필수적인 기법입니다.

### 변분 자동 인코더 (Variational Autoencoder, VAE)
변분 추론은 딥러닝 분야에서도 중요한 역할을 합니다. VAE는 인코더 네트워크를 통해 잠재 변수(latent variable)의 분포 $Q(z|x)$를 예측하고, 디코더 네트워크를 통해 데이터 재구성 우도 $P(x|z)$를 모델링합니다. VAE의 학습 과정은 본질적으로 변분 추론을 통해 ELBO를 최대화하는 과정입니다.

## 장단점

### 장점
*   **계산 효율성**: MCMC(Markov Chain Monte Carlo) 방법과 달리, 변분 추론은 결정론적 최적화 문제를 풀기 때문에 일반적으로 수렴 속도가 빠릅니다.
*   **확장성**: 대규모 데이터셋과 복잡한 모델에 적용하기 용이합니다. 특히 SVI와 결합하면 빅데이터 환경에서도 효율적으로 작동합니다.
*   **추론 속도**: 학습이 완료된 후, 새로운 데이터에 대한 사후 확률의 근사치를 매우 빠르게 생성할 수 있습니다.

### 단점
*   **근사 오차**: 변분 추론은 사후 확률을 정확히 계산하는 것이 아니라 근사하는 것이므로, 항상 근사 오차가 존재합니다. 특히 분포족 $\mathcal{F}$의 선택이 부적절하면 오차가 커질 수 있습니다.
*   **단일 모드 문제**: 평균 필드 추론과 같은 간단한 방법은 사후 확률이 다중 모드(multi-modal)일 경우 하나의 모드만 포착하는 경향이 있어 분포의 전체적인 형태를 왜곡할 수 있습니다.
*   **국소 최적해**: ELBO는 비볼록(non-convex) 함수일 수 있어, 초기값에 따라 국소 최적해에 수렴할 위험이 있습니다.

## 관련 문서 및 참고 자료

*   **베이지안 통계학**: 사후 확률, 사전 확률, 우도 함수 등 베이지안 추론의 기초 개념
*   **MCMC (Markov Chain Monte Carlo)**: 변분 추론과 함께 사후 확률 근사를 위한 주요 방법론 중 하나
*   **EM 알고리즘 (Expectation-Maximization)**: 관측되지 않은 잠재 변수가 있는 모델의 매개변수 추정 방법
*   **딥 베이지안 (Deep Bayesian)**: 변분 추론과 딥러닝을 결합한 최신 연구 동향

변분 추론은 현대 데이터 과학과 머신러닝에서 불확실성을 정량화하고 복잡한 확률 모델을 다루는 데 필수적인 도구로 자리 잡고 있습니다. 특히 대규모 데이터와 실시간 추론이 요구되는 응용 분야에서 그 중요성이 더욱 부각되고 있습니다.