# 밀집성

## 개요

자연어처리(Natural Language Processing, N) 분야에서밀집성**(Density)은 언어의 의미를 수치적으로 표현하는 방식인 **임베딩**(ding)의 중요한 특성 중 하나를 의미합니다. 특히, 밀집성은 단, 문장, 문서를 고차원 벡터 공간에 표현할 때 그 벡터의 구성 방식과 밀도를 설명하는 개념으로, **희소성**(Sparsity)과 대비되는 성질 가집니다.

전통적인 언어 표현 방식인 **원-핫 인코딩**(One-hot Encoding)은 극도로 희소한(sparse) 벡터를 생성하지만, 현대적인 임베딩 기법은 의미 정보를 **밀집 벡터**(Dense Vector) 형태로 압축하여 표현함으로써 더 효율적이고 의미적으로 풍부한 표현을 가능하게 합니다. 이러한 밀집성은 딥러닝 기반 자연어처리 모델의 성능 향상에 핵심적인 역할을 합니다.

## 밀집성의 개념

### 희소 벡터 vs 밀집 벡터

자연어처리에서 언어 단위(예: 단어)를 수치화하는 초기 방법은 **원-핫 인코딩**이었습니다. 이 방식은 어휘 집합의 크기만큼의 차원을 가지는 벡터에서, 해당 단어의 위치에만 1을, 나머지 위치에는 0을 배치합니다. 예를 들어, 어휘 집합이 10,000개의 단어로 구성되어 있다면, 각 단어는 10,000차원 벡터로 표현되며, 그 중 단 하나의 원소만 1이고 나머지는 전부 0입니다.

이러한 벡터는 **극도로 희소**(sparse)하며, 차원이 높을수록 저장과 계산에 비효율적입니다. 또한, 단어 간 유사도를 계산하기 어렵고, 의미적 관계를 반영하지 못합니다.

반면, **밀집 벡터**(Dense Vector)는 비교적 낮은 차원(예: 50, 100, 300차원)에서 각 원소가 실수 값을 가지며, 대부분의 원소가 0이 아닌 값을 가집니다. 이 벡터는 단어의 의미적, 문법적 특성을 숨겨진 표현(Latent Representation)으로 인코딩하며, 유사한 의미를 가진 단어는 벡터 공간에서 가까운 위치에 배치됩니다.

### 밀집성의 장점

- **차원 축소**: 고차원 희소 벡터 대신 저차원 밀집 벡터를 사용해 계산 효율성 향상
- **의미 보존**: 벡터 간 거리나 코사인 유사도를 통해 의미적 유사도를 측정 가능
- **일반화 능력**: 모델이 새로운 문맥에서도 의미를 잘 추론할 수 있도록 도움
- **기계학습 모델과의 호환성**: 신경망 모델에 입력하기에 적합한 형태

## 주요 임베딩 기법과 밀집성

### Word2Vec

Word2Vec은 2013년 구글에서 제안한 대표적인 단어 임베딩 모델로, **Continuous Bag of Words**(CBOW)와 **Skip-gram** 두 가지 아키텍처를 제공합니다. 이 모델은 대량의 텍스트 코퍼스를 학습해 단어를 밀집 벡터로 매핑합니다.

- 벡터 차원: 일반적으로 100~300차원
- 밀집성: 모든 원소가 실수 값이며, 희소하지 않음
- 예: "왕" - "남자" + "여자" ≈ "여왕" (벡터 연산을 통한 의미 추론 가능)

### GloVe (Global Vectors for Word Representation)

GloVe는 단어의 동시 등장(co-occurrence) 통계를 기반으로 임베딩을 학습하는 방법입니다. 전체 코퍼스의 통계 정보를 활용하여 밀집 벡터를 생성합니다.

- 밀집 벡터는 의미적 유사성과 문법적 패턴을 동시에 반영
- Word2Vec과 비교해 전역 통계 정보를 더 잘 반영

### FastText

FastText는 단어를 구성하는 **서브워드**(subword) 단위(예: n-gram 문자)까지 고려하여 임베딩을 생성합니다. 이로 인해 미등장어(OOV: Out-of-Vocabulary)에 강건하며, 밀집 벡터의 표현력이 향상됩니다.

- 밀집성 유지하면서도 단어 내부 구조를 학습
- 예: "running" = "run" + "-ing" 형태의 의미 조합 가능

### 문장 및 문서 임베딩에서의 밀집성

단어 수준을 넘어 문장이나 문서를 표현할 때도 밀집성은 중요합니다. BERT, Sentence-BERT, Universal Sentence Encoder 등의 모델은 문장을 고정 길이의 밀집 벡터로 인코딩합니다.

- 예: 문장 "오늘 날씨가 좋다"와 "오늘 기분이 좋다"는 의미적으로 유사하여 벡터 공간에서 가까움
- 이러한 밀집 표현은 질의 응답, 의미 검색, 유사도 분석 등에 활용됨

## 밀집성의 수학적 표현

밀집 벡터는 다음과 같은 특성을 가집니다:

- 벡터 \( \mathbf{v} \in \mathbb{R}^d \) (d차원 실수 공간)
- 대부분의 원소 \( v_i \neq 0 \)
- 희소도(Sparsity) = \( \frac{\text{0인 원소 수}}{\text{전체 원소 수}} \) → 밀집 벡터는 이 값이 매우 낮음 (예: < 0.1)

예시:

| 표현 방식       | 차원 | 희소도 | 밀집성 |
|----------------|------|--------|--------|
| 원-핫 인코딩   | 10,000 | ~99.99% | 매우 낮음 |
| Word2Vec 임베딩 | 300   | ~0%     | 매우 높음 |

## 결론 및 활용 분야

임베딩의 **밀집성**은 현대 자연어처리의 핵심 개념으로, 언어의 의미를 효율적이고 정확하게 수치화하는 데 필수적입니다. 희소 표현의 한계를 극복하고, 신경망 기반 모델과의 상호작용을 원활하게 만들어줍니다.

### 주요 활용 분야

- 기계 번역
- 감성 분석
- 문서 분류
- 질의 응답 시스템
- 유사 문장 검색

### 참고 자료

- Mikolov, T. et al. (2013). *Efficient Estimation of Word Representations in Vector Space*
- Pennington, J., Socher, R., & Manning, C. (2014). *GloVe: Global Vectors for Word Representation*
- Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*

밀집성은 단순한 기술적 특성을 넘어, 자연어를 기계가 이해할 수 있는 형태로 변환하는 철학적 전환을 상징합니다. 앞으로도 더 정교한 의미 표현을 위한 다양한 밀집 임베딩 기법의 발전이 기대됩니다.