# Attention (어텐션)

## 개요

**어텐션(Attention)**, 한국어로는 **주의 메커니즘** 또는 **주의력**이라고도 불리는 이 개념은 자연어 처리(NLP) 분야에서 딥러닝 모델의 성능을 혁신적으로 향상시킨 핵심 기술입니다. 어텐션은 모델이 입력 시퀀스의 모든 부분 중에서 현재 출력이나 예측에 가장 관련성이 높은 부분에 '주의를 집중'할 수 있도록 하는 메커니즘입니다.

기존의 순환 신경망(RNN)이나 롱숏터 메모리(LSTM)는 긴 시퀀스를 처리할 때 초기 입력의 정보가 소실되거나(기울기 소실 문제), 병렬 처리가 어려워 학습 속도가 느린 한계가 있었습니다. 어텐션 메커니즘은 이러한 한계를 극복하며, 특히 2017년 발표된 논문 *Attention Is All You Need*를 통해 등장한 **트랜스포머(Transformer)** 아키텍처의 기반이 되었습니다. 이는 현재 대규모 언어 모델(LLM)의 표준이 된 기술적 토대를 마련했습니다.

## 어텐션의 기본 원리

어텐션의 핵심 아이디어는 **'가중치(Wight)를 통해 관련성 있는 정보에 더 큰 비중을 두는 것'**입니다. 이를 수학적으로 설명하면, 입력 벡터들의 가중 합을 계산하여 컨텍스트 벡터를 생성하는 과정입니다.

### 1. Query, Key, Value (Q, K, V)
어텐션 메커니즘은 일반적으로 세 가지 벡터로 구성됩니다. 이는 정보 검색 시스템의 비유로 이해하기 쉽습니다.
*   **Query (질의)**: 현재 우리가 찾고자 하는 대상이나 질문입니다.
*   **Key (키)**: 데이터베이스에 저장된 각 항목의 고유 식별자 또는 설명입니다.
*   **Value (값)**: 키에 대응하는 실제 데이터 내용입니다.

모델은 Query와 Key의 유사도(예: 내적 또는 코사인 유사도)를 계산하여, 어떤 Value에 주목해야 할지 결정하는 가중치를 생성합니다.

### 2. 스케일드 닷 프로덕트 어텐션 (Scaled Dot-Product Attention)
트랜스포머에서 주로 사용되는 어텐션 함수는 다음과 같은 단계를 거칩니다.

1.  **스코어 계산**: Query($Q$)와 Key($K$)의 내적을 계산하여 관련성 점수를 얻습니다.
2.  **스케일링**: 점수의 분산이 너무 커져 소프트맥스 함수의 기울기가 평평해지는 것을 방지하기 위해 $\sqrt{d_k}$ (Key 벡터의 차원)로 나눕니다.
3.  **소프트맥스 적용**: 가중치를 확률 분포로 변환하여 모든 가중치의 합이 1이 되도록 합니다.
4.  **가중 합**: 확률 가중치를 Value($V$)에 곱하여 최종 컨텍스트 벡터를 생성합니다.

$$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$

## 어텐션의 주요 유형

자연어 처리 및 컴퓨터 비전 등 다양한 분야에서 어텐션은 여러 형태로 발전했습니다.

### 1. 셀프 어텐션 (Self-Attention)
입력 시퀀스 내부의 모든 단어(또는 토큰)가 서로 어텐션을 계산하는 방식입니다. 문장 내의 "그"라는 대명사가 앞의 어떤 명사를 지칭하는지 파악하는 등, 문맥 내의 장기적 의존성(Long-range Dependency)을 포착하는 데 탁월합니다. 트랜스포머의 핵심 구성 요소입니다.

### 2. 크로스 어텐션 (Cross-Attention)
두 개의 서로 다른 시퀀스 간에 어텐션을 계산하는 방식입니다. 주로 번역 모델에서 디코더가 인코더의 출력을 참조할 때 사용됩니다. 예를 들어, 영어 문장을 생성할 때 프랑스어 원문의 각 단어에 얼마나 주목해야 하는지를 결정합니다.

### 3. 멀티헤드 어텐션 (Multi-Head Attention)
단일 어텐션 헤드 대신 여러 개의 어텐션 헤드를 병렬로 사용하여 서로 다른 하위 공간에서 정보를 추출합니다. 이는 모델이 한 번에 다양한 관점(예: 구문적 관계, 의미적 유사성 등)에서 문맥을 이해할 수 있게 해주어 표현력을 높입니다.

### 4. 캐주얼 어텐션 (Causal Attention)
자기회귀(Autoregressive) 모델에서 미래의 정보를 누설되지 않도록 하기 위해, 현재 시점보다 뒤의 시점에는 어텐션 가중치를 음의 무한대(-inf)로 설정하여 무시하는 방식입니다. GPT와 같은 생성형 모델에 필수적입니다.

## 어텐션의 장점과 의의

*   **병렬 처리 가능**: RNN의 순차적 처리 문제를 해결하여 학습 속도를 획기적으로 개선했습니다.
*   **장기 의존성 해결**: 문장의 앞부분과 뒷부분의 관계를 직접적으로 연결할 수 있어, 긴 문맥 이해에 유리합니다.
*   **해석 가능성**: 어텐션 가중치를 시각화함으로써 모델이 어떤 단어에 주목했는지 인간이 이해하기 쉬운 인과 관계를 제공할 수 있습니다.

## 관련 기술 및 발전

어텐션 메커니즘은 초기에는 RNN/LSTM의 보조 요소로 사용되었으나, 트랜스포머의 등장으로 독립적인 핵심 구성 요소가 되었습니다. 이후 **Sparse Attention**(희소 어텐션), **Linear Attention**(선형 어텐션) 등 계산 효율성을 높이는 변형 연구들이 활발히 진행되고 있으며, 비전 트랜스포머(ViT) 등 NLP 외 분야로도 확장 적용되고 있습니다.

## 참고 자료

*   Vaswani, A., et al. (207). *Attention Is All You Need*. NeurIPS.
*   Bahdanau, D., Cho, K., & Bengio, Y. (2014). *Neural Machine Translation by Jointly Learning to Align and Translate*. ICLR.
*   Devlin, J., et al. (2018). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. NAACL.