GloVe

##요

**GVe**(Global Vectors Word Representation)는 스탠퍼드 대학교 연구팀이 214년에 제안한 단어 임베딩(word embedding) 기법으로, 단어 간의 의미적 관계를 실수 벡터 형태로 표현하는 자연어처리(N) 모델이다. GloVe는 단의 분포 가(distributional hypothesis) 기반하여, 단어가맥에서 나타나는 빈도 정보를 활용해 단어 벡터를 생성한다. 이 모델은 Word2Vec과 함께 자연어처리 분야에서 가장 널리 사용되는 임베딩 기법 중 하나로, 특히 전역적인 통계 정보를 효과적으로 반영한다는 점에서 차별화된다.

GloVe는 텍스트 말뭉치(corpus) 내에서 단어 쌍의 동시 등장 빈도(co-occurrence)를 기반으로 학습하며, 단어 간 관계를 벡터 공간 상의 기하학적 구조로 표현할 수 있도록 한다. 예를 들어, "왕" - "남자" + "여자" ≈ "여왕"과 같은 벡터 연산이 가능해진다.

---

## 원리 및 학습 방식

### 동시 등장 행렬 (Co-occurrence Matrix)

GloVe의 핵심은 **동시 등장 행렬**(X)을 구성하는 것이다. 이 행렬의 각 원소 \( X_{ij} \)는 단어 \( i \)가 단어 \( j \)의 주변에 얼마나 자주 등장했는지를 나타낸다. 일반적으로 일정한 윈도우 크기(예: ±5 단어) 내에서 등장한 경우를 기준으로 한다.

이 행렬은 매우 크고 희소(sparse)할 수 있으므로, GloVe는 이를 효율적으로 다루기 위해 행렬 분해(matrix factorization) 기법을 사용한다.

### 목표 함수

GloVe는 다음과 같은 목표 함수를 최소화하는 방식으로 학습된다:

\[
J = \sum_{i,j=1}^V f(X_{ij}) \left( \mathbf{w}_i^T \mathbf{\tilde{w}}_j + b_i + \tilde{b}_j - \log X_{ij} \right)^2
\]

여기서:
- \( \mathbf{w}_i \): 단어 \( i \)의 중심 단어 벡터
- \( \mathbf{\tilde{w}}_j \): 단어 \( j \)의 주변 단어 벡터
- \( b_i, \tilde{b}_j \): 각 단어의 편향(bias) 항
- \( f(X_{ij}) \): 가중치 함수로, 너무 자주 등장하는 단어 쌍의 영향을 줄이기 위해 사용됨

이 식은 단어 쌍의 동시 등장 로그 빈도와 두 단어 벡터의 내적 사이의 차이를 최소화하려는 목적을 가진다.

### 가중치 함수 \( f(X_{ij}) \)

가중치 함수는 다음과 같이 정의된다:

\[
f(X_{ij}) = 
\begin{cases}
(x / x_{\max})^\alpha & \text{if } x < x_{\max} \\
1 & \text{otherwise}
\end{cases}
\]

보통 \( x_{\max} = 100 \), \( \alpha = 0.75 \)로 설정된다. 이 함수는 빈도가 매우 높은 단어 쌍의 기여도를 제한하여 학습의 안정성을 높인다.

---

## GloVe vs. Word2Vec

| 특징 | GloVe | Word2Vec |
|------|------|----------|
| 학습 방식 | 동시 등장 행렬 기반 (전역 통계) | 신경망 기반 (국소 문맥 예측) |
| 모델 구조 | 행렬 분해 | CBOW 또는 Skip-gram |
| 학습 속도 | 일반적으로 빠름 (병렬 처리 가능) | 느림 (순차 학습) |
| 의미적 유사도 | 뛰어남 (전역 정보 활용) | 우수함 (국소 패턴 학습) |
| 하이퍼파라미터 | 윈도우 크기, 벡터 차원, \( x_{\max} \) | 윈도우 크기, 벡터 차원, 학습률 등 |

GloVe는 전체 말뭉치의 통계적 정보를 한 번에 활용하기 때문에, 단어 간의 전역적인 관계를 더 잘 포착할 수 있다. 반면 Word2Vec은 문맥 예측을 통해 국소적인 패턴을 학습한다.

---

## 사용 및 구현

GloVe는 공개된 학습 코드와 사전 훈련된 벡터를 제공한다. 주요 구현은 다음과 같다:

- **공식 구현**: [https://nlp.stanford.edu/projects/glove/](https://nlp.stanford.edu/projects/glove/)
- **사전 훈련된 벡터**: 6B, 42B, 840B 토큰 규모의 영문 말뭉치로 학습된 벡터 제공 (50, 100, 200, 300차원)
- **파이썬 라이브러리**: `gensim`, `spacy`, `torchtext` 등에서 GloVe 벡터를 쉽게 불러와 사용 가능

예를 들어, Python에서 `gensim`을 사용해 사전 훈련된 GloVe 벡터를 로드하는 코드는 다음과 같다:

```python
from gensim.downloader import load

# GloVe 벡터 로드 (예: glove-twitter-25)
model = load('glove-twitter-25')

# 단어 유사도 계산
print(model.most_similar('king'))
```

---

## 장점과 한계

### 장점
- 전역적인 단어 통계를 활용하여 의미적 관계를 잘 포착
- 학습이 비교적 빠르고 병렬화 가능
- 다양한 크기와 차원의 사전 훈련 모델 제공

### 한계
- 대규모 동시 등장 행렬을 저장해야 하므로 메모리 소모 큼
- 단어 빈도에 편향될 수 있음
- OOV(Out-of-Vocabulary) 문제: 사전에 없는 단어는 처리 불가

---

## 관련 기술 및 후속 연구

GloVe 이후, 더 발전된 임베딩 기법들이 등장하였다:
- **FastText**: 서브워드(subword) 정보를 활용해 OOV 문제 완화
- **BERT, ELMo**: 문맥에 따라 달라지는 동적 임베딩 제공
- **Sentence-BERT**: 문장 단위 임베딩 생성

하지만 GloVe는 간단함과 효율성 덕분에 여전히 기준 모델(baseline)로 자주 사용된다.

---

## 참고 자료
- Pennington, J., Socher, R., & Manning, C. D. (2014). [GloVe: Global Vectors for Word Representation](https://nlp.stanford.edu/pubs/glove.pdf). *Proceedings of EMNLP*.
- Stanford NLP Group - GloVe 프로젝트 페이지: [https://nlp.stanford.edu/projects/glove/](https://nlp.stanford.edu/projects/glove/)
- Gensim Documentation: [https://radimrehurek.com/gensim/](https://radimrehurek.com/gensim/)

GloVe는 단어 임베딩의 기초를 이해하는 데 중요한 모델이며, 자연어처리 분야의 발전에 지대한 기여를 하였다.