Self-Attention
Self-Attention
Self-Attention은 자연어처리(NLP) 분야에서 핵심적인 역할을 하는 자기 주의 메커니즘(Self-Attention Mechanism)으로, 입력 시퀀스 내 각 위치의 단어(또는 토큰)가 다른 위치의 단어들과의 관계를 동적으로 파악하여 문맥 정보를 효과적으로 포착하는 기법입니다. 이 메커니즘은 트랜스포머(Transformer) 아키텍처의 핵심 구성 요소로 등장하여, 기존의 순환 신경망(RNN)이나 컨볼루션 신경망(CNN) 기반 모델의 한계를 극복하고 장거리 의존성(long-range dependencies)을 효율적으로 처리할 수 있게 했습니다.
개요
자연어처리에서 문장 내 단어 간의 관계를 이해하는 것은 매우 중요합니다. 예를 들어, 문장 "그녀는 책을 읽고 있었다. 그것은 매우 흥미로웠다."에서 "그것"이 "책"을 가리킨다는 것을 파악하려면 두 단어 간의 관계를 분석해야 합니다. 기존의 RNN은 순차적으로 정보를 처리하기 때문에 긴 문장일수록 앞부분의 정보가 소실되는 문제가 있었으나, Self-Attention은 이러한 문제를 해결하기 위해 등장했습니다.
Self-Attention은 주어진 입력 시퀀스의 각 요소(토큰)가 시퀀스 내 다른 모든 요소들과 얼마나 관련이 있는지를 계산하고, 그 중요도(어텐션 가중치)에 따라 정보를 가중 합산하는 방식으로 작동합니다. 이 과정은 병렬 처리가 가능하여 학습 속도도 크게 향상시켰습니다.
동작 원리
Self-Attention은 다음 세 가지 주요 벡터를 사용하여 작동합니다:
- Query (Q): 현재 토큰이 "무엇을 찾고 있는가"를 나타냅니다.
- Key (K): 다른 토큰들이 "어떤 특성을 가지고 있는가"를 나타냅니다.
- Value (V): 관련성이 높은 토큰의 실제 정보를 제공합니다.
1. 어텐션 스코어 계산
각 토큰에 대해 Query와 모든 Key 간의 유사도를 점수화합니다. 일반적으로 내적(dot product)을 사용하며, 다음과 같은 수식으로 표현됩니다:
[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]
여기서: - ( d_k )는 Key 벡터의 차원 수입니다. - ( \frac{1}{\sqrt{d_k}} )는 스케일링 계수로, 내적의 분산을 안정화시켜 softmax의 기울기를 완만하게 만듭니다.
2. 소프트맥스 정규화
계산된 점수는 소프트맥스 함수를 통해 확률 분포 형태로 정규화됩니다. 이 값은 각 토큰이 다른 토큰들에 대해 주의를 기울여야 할 정도(가중치)를 나타냅니다.
3. 가중합
정규화된 가중치를 Value 벡터에 곱하여 최종 출력 벡터를 생성합니다. 이 출력은 입력 토큰의 문맥을 반영한 풍부한 표현을 제공합니다.
다중 헤드 어텐션 (Multi-Head Attention)
단일 Self-Attention은 특정 유형의 관계만 포착할 수 있는 한계가 있습니다. 이를 보완하기 위해 다중 헤드 어텐션(Multi-Head Attention)이 도입되었습니다.
- 여러 개의 독립적인 Self-Attention 헤드를 병렬로 실행하여 다양한 관계(예: 문법적, 의미적, 지시적 관계 등)를 동시에 학습합니다.
- 각 헤드는 서로 다른 선형 변환을 통해 Q, K, V를 생성합니다.
- 모든 헤드의 출력을 연결(concatenate)하고 최종적으로 선형 변환을 거쳐 통합된 표현을 생성합니다.
이 구조는 모델이 다양한 시각에서 입력을 해석할 수 있도록 하여 성능을 크게 향상시킵니다.
장점
- 장거리 의존성 처리: RNN과 달리 모든 토큰 간의 거리와 관계없이 직접적인 연결이 가능합니다.
- 병렬 처리: 시퀀스 전체에 대해 동시에 어텐션 연산을 수행할 수 있어 학습 속도가 빠릅니다.
- 해석 가능성: 어텐션 가중치를 시각화하면 모델이 어떤 단어에 주의를 기울였는지 직관적으로 확인할 수 있습니다.
응용 분야
Self-Attention은 다음과 같은 분야에서 핵심 기술로 사용됩니다:
관련 모델
- Transformer: Self-Attention을 기반으로 한 최초의 아키텍처 (Vaswani et al., 2017).
- BERT: 양방향 Self-Attention을 사용한 언어 모델.
- GPT 계열: 단방향 Self-Attention을 기반으로 한 생성형 모델.
참고 자료
- Vaswani, A., et al. (2017). "Attention is All You Need". Advances in Neural Information Processing Systems.
- Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
위키 문서는 지속적으로 업데이트될 수 있으며, 최신 연구 동향은 관련 학술 논문을 참고하시기 바랍니다.
이 문서는 AI 모델(qwen-3-235b-a22b-instruct-2507)에 의해 생성된 콘텐츠입니다.
주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.