# Adapter 모듈

## 개요
**Adapter 모듈**(Adapter Module)은 사전 학습된 대규모 인공지능 모델(Transformer, Vision Transformer 등)에 경량의 trainable 레이어를 삽입하여 **파라미터 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)**을 가능하게 하는 구조입니다. 대규모 언어 모델(LLM)이나 멀티모달 모델의 전 파라미터 미세 조정(Full Fine-tuning)은 막대한 계산 자원과 메모리를 요구하며, 기존 지식을 망각하는 **파괴적 망각(Catastrophic Forgetting)** 현상을 유발할 수 있습니다. Adapter는 이러한 한계를 해결하기 위해 등장했으며, 모델 본체의 가중치는 동결(freeze)한 채 특정 태스크에 맞는 작은 모듈만 학습시킴으로써 효율성과 성능을 동시에 확보합니다.

## 구조 및 동작 원리
Adapter의 핵심 아이디어는 "원본 모델의 표현력은 그대로 유지하되, 태스크 특화 정보를 경량 레이어를 통해 주입한다"는 것입니다. 이는 신경망의 잔차 연결(residual connection)과 결합되어 안정적으로 학습됩니다.

### 기본 구성 요소
일반적인 Adapter 블록은 다음 세 가지 연산으로 구성됩니다:
1. **다운사이드(Down-projection)**: 입력 차원을 축소하여 계산량을 줄이는 선형 레이어(Linear)
2. **비선형 활성화**: GELU, ReLU 등 비선형 함수를 적용해 표현력 확보
3. **업사이드(Up-projection)**: 원본 차원으로 복원하는 선형 레이어

학습 시 가중치로 사용되는 파라미터는 전체 모델 대비 보통 0.1%~5% 수준으로 매우 적으며, 스케일링 계수(scale parameter)를 통해 초기 학습 안정성을 높입니다.

### 삽입 위치와 연산 흐름
Transformer 기반 모델에서는 주로 Attention 출력 후 또는 Feed-Forward Network(FFN) 이후에 삽입됩니다. 수식으로는 다음과 같이 표현할 수 있습니다:
```
h' = h + scale * Adapter(GELU(Linear_down(h)))
```
이때 `h`는 원본 레이어의 출력, `scale`은 학습 가능한 스케일 계수입니다. 추론 단계에서는 Adapter 가중치를 원본 FFN 또는 Attention 레이어에 병합(Merge)하면 추가 지연 없이 원본 모델과 동일한 속도로 동작합니다.

## 주요 장점과 활용 가치
- **계산 및 메모리 효율성**: 미세 조정 시 GPU VRAM 사용량이 대폭 감소하며, 단일 소비자용 그래픽카드에서도 다중 태스크 학습이 가능합니다.
- **지식 보존 및 일반화**: 사전 학습 가중치가 고정되어 기존 언어/시각 지식이 유지되며, 새로운 데이터에 과적합되는 것을 방지합니다.
- **모듈형 확장성**: 각 태스크별로 독립적인 Adapter를 생성·저장할 수 있어, 멀티태스킹(Multi-task Learning)이나 지속 학습(Continual Learning) 환경에서 유연하게 모델을 교체하거나 조합할 수 있습니다.

## 다른 효율적 미세 조정 기법과의 비교
| 기법 | 파라미터 삽입 위치 | 주요 특징 | 추론 오버헤드 |
|---|---|---|---|
| **Adapter** | FFN/Attention 후단 | 구조가 명확하고 이론적 분석이 풍부함 | 병합 시 제로, 미병합 시 경량 |
| **LoRA** | Attention/Linear 가중치 행렬 분해 | 구현이 간단하고 메모리 사용량이 극히 적음 | 병합 시 제로 |
| **Prompt Tuning** | 입력 임베딩 전단 | 텍스트 기반 태스크에 특화됨 | 없음 |
| **Prefix Tuning** | 각 레이어의 입력 시퀀스 추가 | 연속적 프롬프트 최적화 방식 | 약간의 지연 |

Adapter는 구조적 명확성과 다모달 확장성에서 강점이 있으나, LoRA 대비 초기 학습 속도가 다소 느릴 수 있습니다. 최근에는 두 기법을 결합한 하이브리드 접근법도 활발히 연구되고 있습니다.

## 구현 예시 (PyTorch)
다음은 PyTorch 기반의 기본 Adapter 모듈 구현 예시입니다:
```python
import torch.nn as nn

class Adapter(nn.Module):
    def __init__(self, d_model, bottleneck_dim=64, dropout=0.1):
        super().__init__()
        self.down_proj = nn.Linear(d_model, bottleneck_dim)
        self.activation = nn.GELU()
        self.up_proj = nn.Linear(bottleneck_dim, d_model)
        self.dropout = nn.Dropout(dropout)
        self.scale = nn.Parameter(torch.ones(1))

    def forward(self, x):
        return x + self.scale * self.up_proj(
            self.dropout(self.activation(self.down_proj(x)))
        )
```
이 구조는 Hugging Face의 `peft` 라이브러리나 주요 오픈소스 프레임워크에서 표준적으로 지원됩니다.

## 적용 분야 및 최신 동향
Adapter는 초기 NLP 영역을 넘어 현재 다음과 같이 확장되고 있습니다:
- **컴퓨터 비전**: ViT, Swin Transformer 등 현대 아키텍처의 도메인 적응(Domain Adaptation)
- **멀티모달 AI**: CLIP, LLaVA 등에서 시각-언어 정렬 태스크 특화 조정
- **에지 디바이스 및 클라우드**: 모델 커스터마이징 비용 절감을 통한 실시간 추론 파이프라인 구축

최근 연구에서는 Adapter의 가중치를 동적으로 선택하는 *Mixture of Adapters*나, 양자화/압축과 결합한 경량화 기법이 주목받고 있으며, 산업계에서는 SaaS 기반 AI 모델 커스터마이징 플랫폼에 널리 통합되고 있습니다.

## 참고 문헌 및 관련 문서
- Houlsby et al., "Parameter-Efficient Transfer Learning for NLP" (ICML 2019)
- Pfeiffer et al., "AdapterHub: A Framework for Adapting Transformers" (EMNLP 2020)
- Hugging Face PEFT Documentation: https://huggingface.co/docs/peft
- 관련 키워드: `파라미터 효율적 미세 조정(PEFT)`, `로럴(LORA)`, `지속 학습(Continual Learning)`, `모델 병합(Model Merging)`