# PyMC3

> **⚠️ 중요 안내**: PyMC3는 현재 **PyMC (v4, v5)**로 통합 및 업그레이드되었습니다. 본 문서는 PyMC3를 기준으로 설명하고 있으나, 최신 파이썬 버전과의 호환성 및 성능 향상을 위해 신규 프로젝트에는 최신 버전인 **PyMC** 사용을 강력히 권장합니다.

## 개요
**PyMC3**는 파이썬(Python) 기반의 확률적 프로그래밍 언어(Probabilistic Programming Language, PPL)로, 베이지안 통계 추론(Bayesian Statistical Inference)을 수행하기 위한 오픈소스 라이브러리입니다. 사용자가 확률 모델을 정의하면, PyMC3는 복잡한 적분 계산 없이도 마르코프 연쇄 몬테카를로(MCMC) 샘플링을 통해 모델의 파라미터에 대한 사후 분포를 추정할 수 있게 해줍니다.

## 설치 방법 및 환경 설정
PyMC3는 수치 계산을 위해 `Theano` (또는 최신 버전의 경우 `PyTensor`)라는 심볼릭 라이브러리를 백엔드로 사용합니다. 의존성 문제가 빈번하므로 가상 환경 사용이 권장됩니다.

### 최신 버전(PyMC v5) 설치
최신 기능을 사용하려면 다음 명령어로 설치하십시오.
```bash
# 최신 PyMC 설치 (v4, v5)
pip install pymc
```

### 레거시 버전(PyMC3) 설치
특정 구버전 프로젝트 유지를 위해 PyMC3가 필요한 경우 다음과 같이 설치합니다.
```bash
# Conda 환경 권장
conda create -n pymc3_env python=3.8
conda activate pymc3_env
conda install -c conda-forge pymc3
```

### 환경 설정 주의사항
- **C 컴파일러**: PyMC3는 성능 최적화를 위해 C 코드를 생성하여 컴파일합니다. Windows 사용자는 `m2w64-toolchain` 또는 Visual Studio C++ 빌드 도구가 설치되어 있어야 합니다.
- **백엔드**: PyMC3는 Theano를 통해 자동 미분(Automatic Differentiation)을 수행하며, 이는 NUTS 샘플러의 효율성을 결정짓는 핵심 요소입니다.

## 핵심 개념 및 작동 원리
PyMC3의 핵심은 **베이지안 추론**에 있습니다. 이는 새로운 데이터가 관찰되었을 때, 기존의 믿음(사전 분포)을 업데이트하여 수정된 믿음(사후 분포)을 도출하는 과정입니다.

### 베이지안 추론 흐름
1. **사전 분포(Prior Distribution)**: 데이터를 보기 전, 파라미터 $\theta$에 대해 가지고 있는 확률적 믿음.
2. **가능도(Likelihood)**: 특정 파라미터 $\theta$가 주어졌을 때, 관측된 데이터 $D$가 나타날 확률.
3. **사후 분포(Posterior Distribution)**: 데이터 $D$를 관찰한 후 업데이트된 $\theta$의 확률 분포.
   $$\text{Posterior} \propto \text{Likelihood} \times \text{Prior}$$

### 통계학 관점 비교
| 구분 | 빈도주의 통계학 (Frequentist) | 베이지안 통계학 (Bayesian) |
| :--- | :--- | :--- |
| **파라미터 관점** | 고정된 하나의 참값으로 간주 | 확률 변수로 간주 (분포로 표현) |
| **데이터 관점** | 무한히 반복 가능한 샘플로 간주 | 현재 관측된 데이터가 유일한 정보 |
| **결과 도출** | 점 추정치 및 p-value, 신뢰구간 | 사후 분포 및 신용구간(Credible Interval) |
| **사전 지식** | 반영하지 않음 | 사전 분포를 통해 명시적으로 반영 |

## 주요 기능 및 알고리즘
PyMC3는 고차원 파라미터 공간에서 효율적으로 샘플링하기 위해 고급 MCMC 알고리즘을 제공합니다.

### MCMC (Markov Chain Monte Carlo)
MCMC는 복잡한 확률 분포에서 직접 샘플을 추출하기 어려울 때, 마르코프 연쇄를 이용하여 해당 분포의 표본을 생성하는 기법입니다. 이를 통해 적분 계산 없이 사후 분포의 특성을 파악할 수 있습니다.

### NUTS (No-U-Turn Sampler)
PyMC3의 기본 샘플러인 **NUTS**는 해밀토니안 몬테카를로(HMC)의 발전된 형태입니다.
- **특징**: 경사도(Gradient) 정보를 활용하여 파라미터 공간을 효율적으로 탐색합니다.
- **장점**: 기존 Metropolis-Hastings 알고리즘의 고질적인 문제인 '랜덤 워크(Random Walk)' 현상을 방지하며, 튜닝 파라미터를 자동으로 설정하여 사용자 편의성을 높였습니다.

## 모델링 워크플로우
PyMC3의 표준 작업 순서는 모델 정의 $\rightarrow$ 샘플링 $\rightarrow$ 분석 및 예측의 단계를 거칩니다.

### 표준 작업 순서
1. `pm.Model()`: 모델 컨텍스트 생성.
2. **변수 설정**: `pm.Normal`, `pm.Poisson` 등 확률 분포를 사용하여 사전 분포와 가능도 정의. (필요 시 `pm.MutableData`를 통해 데이터 컨테이너 설정)
3. `pm.sample()`: NUTS 등의 알고리즘을 통해 사후 분포 샘플링 수행.
4. **결과 저장**: `pm.trace()` 또는 `InferenceData` 객체로 결과 저장.
5. `pm.sample_posterior_predictive()`: 추론된 파라미터를 바탕으로 사후 예측 분포 생성.

### `pm.sample()` 주요 파라미터 설명
- `draws`: 각 체인(chain)에서 추출할 샘플의 수. 많을수록 분포가 정밀해지지만 시간이 오래 걸립니다.
- `tune`: 초기 웜업(Warm-up) 단계의 샘플 수. 샘플러가 최적의 스텝 사이즈를 찾는 과정이며, 결과 분석에서는 제외됩니다.
- `chains`: 독립적으로 실행할 MCMC 체인의 수. 여러 체인을 사용하여 수렴 여부($\hat{R}$)를 확인합니다.
- `target_accept`: NUTS의 수락 확률 목표치 (기본값 0.8). 발산(Divergence)이 발생할 경우 이 값을 높여(예: 0.95) 더 세밀하게 탐색하게 합니다.
- `return_inferencedata`: `True` 설정 시 결과가 `arviz.InferenceData` 형식으로 반환되어 ArviZ 라이브러리와의 호환성이 극대화됩니다.

### 코드 예제: 간단한 선형 회귀 모델
```python
import pymc3 as pm
import numpy as np
import arviz as az

# 가상 데이터 생성
x = np.linspace(0, 10, 100)
y = 2 * x + 1 + np.random.randn(100) * 2

with pm.Model() as linear_model:
    # 1. 사전 분포 정의 (Priors)
    alpha = pm.Normal('alpha', mu=0, sigma=10)
    beta = pm.Normal('beta', mu=0, sigma=10)
    sigma = pm.HalfCauchy('sigma', beta=1)
    
    # 2. 결정론적 관계 정의
    mu = alpha + beta * x
    
    # 3. 가능도 정의 (Likelihood)
    y_obs = pm.Normal('y_obs', mu=mu, sigma=sigma, observed=y)
    
    # 4. 샘플링 수행 (return_inferencedata=True 설정 시 ArviZ 형식으로 저장됨)
    trace = pm.sample(1000, tune=1000, return_inferencedata=True)
    
    # 5. 사후 예측 샘플링
    ppc = pm.sample_posterior_predictive(trace)
```

## 결과 분석 및 시각화
샘플링 결과는 `ArviZ` 라이브러리를 통해 진단하고 시각화하는 것이 표준입니다.

### 주요 진단 지표
- **$\hat{R}$ (R-hat)**: 여러 체인(Chain)이 동일한 분포로 수렴했는지 확인하는 지표. 1.0에 가까울수록 수렴한 것으로 판단하며, 보통 1.01 이하를 기준으로 합니다.
- **Divergences**: NUTS 샘플러가 곡률이 너무 높은 영역에서 계산 오류를 일으킨 횟수. 이 수치가 높으면 모델 재설계나 `target_accept` 값 상향이 필요합니다.

### ArviZ 시각화 코드 예제
```python
import arviz as az

# 1. Trace plot: 파라미터의 수렴 여부(왼쪽)와 사후 분포(오른쪽) 확인
az.plot_trace(trace)

# 2. Forest plot: 파라미터의 신용구간(HDI) 시각화
az.plot_forest(trace, var_names=['alpha', 'beta'])

# 3. Posterior plot: 파라미터의 확률 밀도 함수(PDF) 확인
az.plot_posterior(trace, var_names=['alpha', 'beta'])

# 4. PPC plot: 실제 데이터와 사후 예측 데이터의 분포 비교
az.plot_ppc(ppc)
```

## 모델 성능 최적화 팁
복잡한 모델일수록 샘플링 속도가 느려지거나 수렴하지 않을 수 있습니다.

- **사전 분포의 구체화**: 너무 넓은 범위의 무정보 사전 분포(Non-informative prior)보다는 도메인 지식을 반영한 약정보 사전 분포(Weakly informative prior)를 사용하여 탐색 범위를 좁힙니다.
- **파라미터 재매개변수화(Reparameterization)**: 계층적 모델에서 발생하는 '깔때기(Funnel)' 현상을 해결하기 위해 Non-centered parametrization을 적용합니다.
- **`target_accept` 조정**: `pm.sample(target_accept=0.95)`와 같이 값을 높여 발산(Divergence)을 줄일 수 있습니다.
- **데이터 스케일링**: 입력 변수의 스케일이 너무 다르면 샘플링 효율이 떨어지므로 표준화(Standardization)를 권장합니다.

## 활용 사례 및 한계

### 활용 사례
- **계층적 모델링(Hierarchical Modeling)**: 그룹별 특성과 전체 특성을 동시에 모델링하여 데이터가 적은 그룹의 추정치를 보완(Shrinkage)할 때 유용합니다.
- **마케팅 믹스 모델링(MMM)**: 다양한 광고 매체의 기여도를 확률적으로 추정하여 예산을 최적화합니다.
- **이상치 탐지**: 데이터의 생성 분포를 모델링하여 확률적으로 낮은 영역의 데이터를 이상치로 판별합니다.

### 한계 및 PyMC(v4+)로의 전환
PyMC3는 강력하지만 다음과 같은 한계가 있었습니다.
- **Theano 의존성**: 백엔드인 Theano의 업데이트가 느려 최신 파이썬 버전 및 하드웨어(GPU 등) 지원에 제약이 있었습니다.
- **계산 복잡도**: 데이터 양이 방대해질 경우 MCMC의 계산 비용이 기하급수적으로 증가합니다.

이러한 문제를 해결하기 위해 PyMC3는 **PyMC (v4, v5)**로 진화하였습니다.

### PyMC3 vs PyMC(v4+) 비교
| 항목 | PyMC3 | PyMC (v4+) |
| :--- | :--- | :--- |
| **백엔드** | Theano | PyTensor (Theano의 포크 버전) |
| **성능** | 표준 MCMC 성능 | 최적화된 컴파일 및 더 빠른 샘플링 |
| **설치 편의성** | 의존성 충돌 잦음 | 패키지 관리 및 설치 프로세스 개선 |
| **API 구조** | `pymc3` 네임스페이스 | `pymc` 네임스페이스로 통합 |
| **하드웨어 가속** | 제한적 | JAX 등을 통한 GPU/TPU 가속 지원 확대 |