# 트랜스포머

## 개요

**트랜스포머**(Transformer)는 자연어처리LP) 분야 혁신적인 영향을 미친 딥러닝 아키텍처로, 2017년글과 빌런드 연구소의 연구자들이 발표한 논문 *"Attention is All You Need"*에서 처음 소개되었습니다. 기존의 순차적 처리 방식을 기반으로 한 순환신경망(RNN)이나 합성곱신경망(CNN)과 달리, 트랜스포머는 **어텐션 메커니즘**(Attention Mechanism)에만 의존하여 입력 시퀀스의 각 단어 간의 관계를 병렬적으로 파악함으로써 처리 속도와 성능을 크게 향상시켰습니다.

트랜스포머는 번역, 텍스트 생성, 질문 응답, 요약 등 다양한 자연어처리 과제에서 뛰어난 성능을 보이며, 이후 BERT, GPT, T5 등의 선도적인 언어 모델의 기반이 되었습니다. 현재는 자연어처리 분야의 사실상 표준 아키텍처로 자리 잡고 있습니다.

---

## 구조와 동작 원리

트랜스포머는 인코더(Encoder)와 디코더(Decoder)로 구성된 **인코더-디코더 구조**를 가지고 있으며, 각각은 여러 개의 동일한 레이어로 쌓여 있습니다. 이 구조는 입력 문장을 인코딩하고, 이를 바탕으로 출력 문장을 생성하는 데 사용됩니다.

### 1. 인코더 (Encoder)

인코더는 입력 시퀀스를 고차원 벡터 표현으로 변환합니다. 각 인코더 레이어는 다음과 같은 두 개의 주요 서브층(sub-layer)으로 구성됩니다:

- **자기 주의(self-attention) 레이어**: 입력 시퀀스의 각 단어가 다른 단어들과 어떤 관계를 가지는지를 계산합니다. 예를 들어, 문장 *"The cat sat on the mat because it was tired."*에서 "it"이 "cat"을 가리키는지 여부를 판단하는 데 사용됩니다.
- **피드포워드 신경망**(Feed-Forward Neural Network): 자기 주의를 통해 얻은 표현을 추가로 처리하는 완전 연결 네트워크입니다.

각 서브층 이후에는 **레이어 정규화**(Layer Normalization)와 **잔차 연결**(Residual Connection)이 적용되어 학습 안정성을 높입니다.

### 2. 디코더 (Decoder)

디코더는 인코더의 출력을 바탕으로 출력 시퀀스를 생성합니다. 디코더 레이어는 세 개의 서브층으로 구성됩니다:

- **마스크된 자기 주의 레이어**: 출력 시퀀스를 생성할 때 미래의 단어를 참조하지 못하도록 제한하는 자기 주의입니다. 예를 들어, 두 번째 단어를 생성할 때는 첫 번째 단어까지만 참조할 수 있습니다.
- **인코더-디코더 어텐션 레이어**: 인코더의 출력과 디코더의 현재 상태를 결합하여 관련 정보를 집중합니다.
- **피드포워드 신경망**: 최종 처리를 수행합니다.

디코더도 인코더와 마찬가지로 잔차 연결과 레이어 정규화를 사용합니다.

---

## 핵심 기술: 어텐션 메커니즘

트랜스포머의 핵심은 **멀티헤드 어텐션**(Multi-Head Attention)입니다. 이 메커니즘은 입력 시퀀스 내의 모든 위치에서 정보를 동시에 참조할 수 있게 하며, 병렬 처리를 가능하게 합니다.

### 스케일드 닷 프로덕트 어텐션 (Scaled Dot-Product Attention)

입력으로 쿼리(Query), 키(Key), 값(Value) 벡터를 받아 다음 수식으로 어텐션 가중치를 계산합니다:

\[
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
\]

여기서 \(d_k\)는 키 벡터의 차원입니다. 나누기는 소프트맥스의 기울기를 안정화하기 위한 조정입니다.

### 멀티헤드 어텐션

여러 개의 어텐션 헤드를 병렬로 실행하여 다양한 표현 공간에서 정보를 추출한 후, 이를 결합합니다. 이는 모델이 단어 간의 다양한 관계(예: 문법적, 의미적)를 동시에 학습할 수 있게 합니다.

```python
# 간단한 멀티헤드 어텐션 구현 (의사코드)
class MultiHeadAttention:
    def __init__(self, d_model, num_heads):
        self.num_heads = num_heads
        self.d_k = d_model // num_heads
        self.W_q = Linear(d_model, d_model)
        self.W_k = Linear(d_model, d_model)
        self.W_v = Linear(d_model, d_model)
        self.W_o = Linear(d_model, d_model)

    def forward(self, Q, K, V):
        Q, K, V = self.W_q(Q), self.W_k(K), self.W_v(V)
        Q, K, V = split_heads(Q), split_heads(K), split_heads(V)
        attention_output = scaled_dot_product_attention(Q, K, V)
        return self.W_o(concat_heads(attention_output))
```

---

## 장점과 한계

### 장점

- **병렬 처리 가능**: RNN과 달리 순차 처리가 필요 없어 학습 속도가 빠릅니다.
- **장거리 의존성 학습 우수**: 문장 내 멀리 떨어진 단어 간 관계도 효과적으로 포착합니다.
- **확장성**: 레이어를 깊게 쌓거나 모델 크기를 늘려 성능을 지속적으로 향상시킬 수 있습니다.

### 한계

- **메모리 사용량 큼**: 전체 입력 시퀀스에 대한 어텐션을 계산하므로 긴 시퀀스에서 메모리 소모가 큽니다.
- **학습 데이터 의존성**: 방대한 데이터가 필요하며, 소규모 데이터에서는 과적합 우려가 있습니다.

---

## 관련 모델 및 발전

트랜스포머는 이후 다음과 같은 주요 언어 모델의 기반이 되었습니다:

| 모델 | 특징 |
|------|------|
| **BERT** | 인코더 기반, 양방향 어텐션, 사전 학습 + 파인튜닝 |
| **GPT** | 디코더 기반, 단방향 어텐션, 텍스트 생성 중심 |
| **T5** | 인코더-디코더 전체 사용, 텍스트를 모두 입력-출력 텍스트로 변환 |

이들 모델은 트랜스포머의 기본 구조를 활용하여 각각의 과제에 최적화된 방식으로 발전하였습니다.

---

## 참고 자료

- Vaswani, A. et al. (2017). *Attention is All You Need*. Advances in Neural Information Processing Systems (NeurIPS).
- [Google AI Blog - The Transformer: A Paradigm Shift in Sequence Modeling](https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html)
- Hugging Face Transformers 문서: [https://huggingface.co/docs/transformers](https://huggingface.co/docs/transformers)

트랜스포머는 자연어처리의 패러다임을 바꾼 혁신적인 기술이며, 현대의 인공지능 언어 모델 대부분이 그 영향 아래에서 발전하고 있습니다.