# 희소 모델 (Sparse Model)

## 1. 개요
**희소 모델(Sparse Model)**이란 신경망의 파라미터(가중치)나 활성화 값(Activation) 중 상당수가 0이 되어, 실제 연산에 참여하는 유효 파라미터의 비율이 낮은 인공지능 모델을 의미한다. 이는 모든 파라미터가 0이 아닌 값으로 채워져 매 연산마다 모든 가중치를 계산하는 **밀집 모델(Dense Model)**과 대조되는 개념이다. 희소 모델의 핵심 목적은 모델의 표현력(Capacity)은 유지하면서 계산 복잡도와 메모리 사용량을 획기적으로 줄여 효율적인 추론과 학습을 가능하게 하는 데 있다.

## 2. 동작 원리 및 메커니즘
희소 모델은 행렬 연산의 특성을 이용한다. 딥러닝의 기본 연산인 행렬 곱셈에서 피연산자가 0인 경우, 결과값은 항상 0이 되며 덧셈 연산이 생략된다. 희소 모델은 의도적으로 가중치 행렬 내의 불필요한 연결을 제거하여 0으로 만듦으로써, 실제 유효한 값들만 계산하는 '희소 행렬 연산(Sparse Matrix Multiplication)'을 수행한다.

### 2.1 정적 희소성 vs 동적 희소성
희소성은 적용 시점과 대상에 따라 크게 두 가지로 구분된다.

| 구분 | 정적 희소성 (Static Sparsity) | 동적 희소성 (Dynamic Sparsity) |
| :--- | :--- | :--- |
| **정의** | 모델의 가중치(Weight) 자체가 0으로 고정된 상태 | 입력 데이터에 따라 활성화 값(Activation)이 0이 되는 상태 |
| **결정 시점** | 학습 후 또는 학습 과정 중 결정 (고정됨) | 추론(Inference) 시 입력값에 따라 실시간 결정 |
| **주요 기법** | 가중치 가지치기 (Weight Pruning) | ReLU 활성화 함수, MoE 게이팅 |
| **특징** | 모델 파일 크기 감소, 저장 공간 절약 | 연산량(FLOPs) 감소, 입력별 맞춤형 경로 선택 |

### 2.2 비구조적 희소성 vs 구조적 희소성
희소성이 가중치 행렬 내에서 어떤 형태로 분포하느냐에 따라 하드웨어 가속 효율이 크게 달라진다.

*   **비구조적 희소성 (Unstructured Sparsity)**: 가중치 행렬 내의 임의의 위치에 있는 값들을 0으로 만드는 방식이다. 이론적으로 모델 성능 하락을 최소화하며 높은 희소도를 달성할 수 있으나, 0의 위치가 불규칙하여 일반적인 GPU의 연속 메모리 접근 방식으로는 연산 가속이 어렵다.
*   **구조적 희소성 (Structured Sparsity)**: 특정 행, 열, 채널 또는 고정된 블록 단위로 가중치를 0으로 만드는 방식이다. 0이 된 영역이 규칙적으로 배치되므로, 하드웨어 수준에서 불필요한 연산 블록을 통째로 건너뛸 수 있어 실제 추론 속도 향상에 매우 유리하다.

### 2.3 밀집 모델 vs 희소 모델 비교
| 비교 항목 | 밀집 모델 (Dense Model) | 희소 모델 (Sparse Model) |
| :--- | :--- | :--- |
| **파라미터 활용** | 모든 파라미터를 매 연산에 사용 | 일부 유효 파라미터만 선택적 사용 |
| **연산 복잡도** | $O(N^2)$ (행렬 크기에 비례) | $O(Non-zero \text{ elements})$ |
| **메모리 효율** | 높음 (연속적 메모리 배치) | 조건부 높음 (압축 포맷 적용 시) |
| **하드웨어 최적화** | GPU/TPU 가속에 매우 최적화됨 | 특수 라이브러리 및 하드웨어 지원 필요 |

## 3. 주요 희소화 기법

### 3.1 가지치기 (Pruning)
가지치기는 중요도가 낮은 가중치를 0으로 만들어 제거하는 기법이다. 일반적으로 가중치의 절대값이 작은 순서대로 제거하며, 제거 후 재학습(Fine-tuning)을 통해 성능 하락을 보완한다.

```python
import torch
import torch.nn.utils.prune as prune

# 간단한 선형 레이어 생성
model = torch.nn.Linear(10, 10)

# 가중치의 하위 30%를 0으로 만드는 L1-norm 기반 가지치기 적용
# 주의: 이 예제는 '비구조적 가지치기'를 수행하며, 실제 하드웨어 가속을 위해서는 
# 구조적 가지치기(Structured Pruning) 기법이 필요함.
prune.l1_unstructured(model, name="weight", amount=0.3)

# 가지치기 결과 확인 (0이 된 가중치 비율 확인)
print(torch.sum(model.weight == 0).item() / model.weight.nelement()) 
# 출력: 0.3
```

### 3.2 양자화(Quantization)와의 연계
양자화는 가중치의 정밀도(예: FP32 $\rightarrow$ INT8)를 낮추는 기술이다. 희소 모델과 결합할 경우, 0으로 처리된 값은 저장하지 않고 나머지 값들만 낮은 비트로 저장함으로써 메모리 점유율을 극단적으로 낮출 수 있다.

### 3.3 MoE (Mixture of Experts) 구조
MoE는 모델 전체를 하나의 거대한 층으로 구성하는 대신, 여러 개의 작은 '전문가(Expert)' 네트워크로 나누고 입력값에 따라 필요한 전문가만 활성화하는 구조이다. 대표적인 사례로 **GPT-4**와 **Mixtral 8x7B** 등이 이 구조를 채택하여 모델의 파라미터 규모는 키우면서도 추론 비용을 효율적으로 관리하고 있다.

**게이팅 네트워크(Gating Network)의 작동 원리:**
1. **입력 수신**: 입력 벡터 $x$가 게이팅 네트워크(라우터)에 전달된다.
2. **점수 계산**: 게이팅 네트워크는 학습 가능한 가중치 행렬 $W_g$를 통해 각 전문가에 대한 적합도 점수를 계산한다. ($S = x \cdot W_g$)
3. **Top-k 선택**: 소프트맥스(Softmax) 함수를 통해 확률 분포를 만든 후, 가장 점수가 높은 $k$개의 전문가(보통 $k=1$ 또는 $2$)만 선택한다.
4. **가중 합산**: 선택된 전문가들의 출력값에 게이팅 점수를 곱하여 최종 결과물을 합산한다.
   $$\text{Output} = \sum_{i=1}^{k} G(x)_i E_i(x)$$
   - $G(x)_i$: 게이팅 네트워크가 $i$번째 전문가에게 부여한 가중치(확률)
   - $E_i(x)$: $i$번째 전문가 네트워크의 출력값

## 4. 희소 모델의 장점과 한계

### 4.1 장점 및 저장 포맷
- **추론 속도 향상**: 유효 연산 횟수가 줄어들어 지연 시간(Latency)이 감소한다.
- **메모리 절감**: 0을 모두 저장하는 대신 유효한 값과 그 위치(인덱스)만 저장하는 **희소 행렬 저장 포맷**을 사용하여 용량을 줄인다.
    - **COO (Coordinate)**: `(행, 열, 값)`의 튜플 형태로 저장. 단순하지만 메모리 효율이 낮음.
    - **CSR (Compressed Sparse Row)**: 행의 시작 위치를 압축하여 저장. 행 기반 접근 및 행렬 곱셈 연산에 최적화됨.
    - **CSC (Compressed Sparse Column)**: 열의 시작 위치를 압축하여 저장. 열 기반 접근에 최적화됨.
- **에너지 효율성**: 불필요한 데이터 이동과 연산이 줄어들어 전력 소모가 감소한다.

### 4.2 한계 및 트레이드오프
- **하드웨어 가속의 어려움**: 현대의 GPU는 연속적인 메모리 접근(Coalesced Access)에 최적화되어 있어, 불규칙한 비구조적 희소 행렬 연산 시 오히려 효율이 떨어질 수 있다.
- **정확도 하락**: 과도한 희소화는 모델의 표현력을 훼손하여 성능 저하를 야기한다.

**[희소성-정확도 트레이드오프 개념도]**
```text
정확도 (Accuracy)
^
| **** (Dense Model)
|     **
|       **
|         **  <-- 임계점 (Critical Point): 급격한 성능 하락 시작
|           **
|             **
|               **
+----------------------------> 희소성 (Sparsity %)
0%             50%            90%
```

## 5. 주요 활용 사례
- **거대 언어 모델(LLM) 배포**: GPT-4와 같은 초거대 모델은 파라미터 수가 너무 많아 전체를 활성화하는 것이 불가능에 가깝다. MoE 구조를 적용하여 모델 크기는 키우되, 추론 시 사용하는 파라미터 수만 제한하여 효율적으로 배포한다.
- **온디바이스 AI (On-device AI)**: 스마트폰, IoT 기기 등 메모리와 전력이 제한된 환경에서 모델을 구동하기 위해 가지치기와 양자화가 적용된 희소 모델을 필수적으로 사용한다.

## 6. 관련 기술 및 최신 동향
- **희소 연산 라이브러리**: NVIDIA의 `cuSPARSE`, PyTorch의 `torch.sparse` 등이 희소 행렬 연산을 가속화하기 위해 사용된다.
- **하드웨어 수준 지원**: NVIDIA Ampere 아키텍처(A100 등)부터는 **2:4 구조적 희소성(Structured Sparsity)**을 하드웨어적으로 지원한다. 이는 4개의 연속된 값 중 2개가 0일 때 연산 속도를 2배로 높이는 기능으로, 앞서 설명한 구조적 희소성의 대표적인 구현 사례이다.
- **최신 연구 트렌드**: 학습 단계부터 희소성을 강제하는 'Sparse Training'과, 동적으로 네트워크 구조를 변경하는 'Dynamic Neural Networks' 연구가 활발히 진행되고 있다.