# 임베딩

## 개요

**임베딩**(Embedding)은 인공지능, 특히 자연어 처리(NLP)와 머신러닝 분야에서 중요한 개념으로, 고차원의 범주형 데이터를 저차원의 실수 벡터로 변환하는 기법을 의미합니다. 이 기술은 단어, 문장, 이미지, 사용자 행동 등 다양한 형태의 데이터를 컴퓨터가 이해하고 계산할 수 있는 형태로 표현하는 데 핵심적인 역할을 합니다. 임베딩은 단순한 인코딩을 넘어, 데이터 간의 의미적 또는 구조적 유사성을 벡터 공간상의 거리나 각도로 반영함으로써 모델의 성능을 크게 향상시킵니다.

초기에는 단어를 정수 인덱스로 매핑하는 **원-핫 인코딩**(One-Hot Encoding) 방식이 주로 사용되었지만, 이 방식은 차원이 크고 의미 정보를 전혀 포함하지 못한다는 단점이 있었습니다. 임베딩 기술은 이러한 문제를 해결하고, **의미적 유사성**(예: "왕" - "남성" + "여성" ≈ "여왕")을 수학적으로 표현할 수 있게 해줍니다.

---

## 임베딩의 원리

### 벡터 공간에서의 의미 표현

임베딩은 데이터를 **다차원 벡터 공간**(보통 50~300차원)에 매핑합니다. 이 공간에서 유사한 항목들은 서로 가까운 위치에 배치되며, 이 거리나 방향은 의미적 관계를 반영합니다. 예를 들어, 단어 임베딩에서 "개"와 "강아지"는 벡터 공간에서 가까이 위치하고, "고양이"도 동물이라는 공통 범주로 인해 어느 정도 가까운 위치에 있을 수 있습니다.

이러한 벡터 표현은 **분포 가설**(Distributional Hypothesis)에 기반합니다. 즉, "비슷한 문맥에서 사용되는 단어는 비슷한 의미를 가진다"는 언어학적 원리입니다.

### 학습 방식

임베딩은 주로 신경망을 통해 학습됩니다. 대표적인 방법으로는 다음이 있습니다:

- **Word2Vec**: 두 가지 아키텍처(Skip-gram과 CBOW)를 사용하여 주변 단어를 예측하거나 중심 단어로 주변 단어를 예측함으로써 단어 벡터를 학습합니다.
- **GloVe**(Global Vectors for Word Representation): 단어 쌍의 동시 등장 빈도를 기반으로 통계적 분석을 수행하여 임베딩을 생성합니다.
- **FastText**: 단어를 구성하는 **서브워드**(subword) 단위(예: 접두사, 접미사)로 분해하여 학습함으로써 미등장어(OOV, Out-of-Vocabulary)에 강한 특성을 가집니다.

---

## 임베딩의 종류

### 1. 단어 임베딩 (Word Embedding)

가장 기본적인 형태로, 각 단어를 하나의 벡터로 표현합니다. 예: "사과" → [0.8, -0.3, 0.5, ...]

- **장점**: 계산 효율이 높고, 단어 간 유사도 측정이 가능.
- **단점**: 동의어나 다의어 문제 해결에 한계가 있음 (예: "은행"은 금융기관과 강가를 모두 의미함).

### 2. 문장/문단 임베딩 (Sentence/Paragraph Embedding)

단어 임베딩을 결합하거나 특화된 모델(예: **Sentence-BERT**, **Universal Sentence Encoder**)을 사용하여 문장 전체를 하나의 벡터로 표현합니다.

- 활용 예: 유사 문장 검색, 감성 분석, 문서 분류.

### 3. 문맥 기반 임베딩 (Contextual Embedding)

같은 단어라도 문맥에 따라 다른 벡터를 생성합니다. 예를 들어, "은행"이 "나는 은행에 갔다"와 "강가의 은행"에서 서로 다른 벡터로 표현됨.

- **BERT**, **RoBERTa**, **ALBERT** 등의 트랜스포머 기반 모델이 이 방식을 사용.
- 동의어 및 다의어 문제 해결에 매우 효과적.

### 4. 이미지 및 멀티모달 임베딩

이미지나 오디오 등 비텍스트 데이터에도 임베딩을 적용할 수 있습니다. 예를 들어, CNN 기반 모델은 이미지를 고정된 길이의 벡터로 변환합니다. **CLIP**(Contrastive Language–Image Pretraining)과 같은 모델은 텍스트와 이미지를 동일한 벡터 공간에 임베딩하여 크로스모달 검색을 가능하게 합니다.

---

## 임베딩의 활용 분야

| 분야 | 활용 사례 |
|------|----------|
| 검색 엔진 | 의미 기반 검색 (키워드 매칭이 아닌 의미 유사도 기반 검색) |
| 추천 시스템 | 사용자와 아이템의 임베딩을 비교하여 맞춤형 추천 제공 |
| 번역 시스템 | 단어 및 문장 간 의미적 관계를 기반으로 정확한 번역 수행 |
| 감성 분석 | 문장의 감성(긍정/부정)을 벡터 공간에서 분류 |
| 문서 군집화 | 유사한 문서를 자동으로 그룹화 |

---

## 임베딩의 평가 방법

임베딩의 품질은 다음과 같은 방법으로 평가합니다:

- **유사도 평가**: 인간이 판단한 단어 유사도와 임베딩 벡터 간 코사인 유사도의 상관관계 측정.
- **유추 과제**(Analogy Task): "남자:여자 = 왕:?"과 같은 유추 문제 해결 능력 평가.
- **하위 과제 성능**: 임베딩을 입력으로 사용하는 분류, 클러스터링 등의 과제에서의 최종 성능.

---

## 참고 자료 및 관련 문서

- Mikolov, T. et al. (2013). ["Efficient Estimation of Word Representations in Vector Space"](https://arxiv.org/abs/1301.3781)
- Pennington, J., Socher, R., & Manning, C. (2014). ["GloVe: Global Vectors for Word Representation"](https://nlp.stanford.edu/pubs/glove.pdf)
- Devlin, J. et al. (2019). ["BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"](https://arxiv.org/abs/1810.04805)
- 관련 위키 문서: [자연어 처리](/wiki/자연어_처리), [트랜스포머 모델](/wiki/트랜스포머_모델), [벡터 공간 모델](/wiki/벡터_공간_모델)

임베딩은 현대 인공지능의 기초 기술 중 하나로, 데이터의 의미를 수치적으로 표현하는 데 있어 혁신적인 전환점을 제공했습니다. 앞으로도 지속적인 연구와 발전을 통해 더욱 정교한 의미 이해가 가능할 것으로 기대됩니다.

## 정적 임베딩의 특성과 한계

Word2Vec, GloVe와 같은 정적(Static) 임베딩의 핵심은 **'단어당 고정 벡터'** 개념입니다. 이는 학습 단계에서 각 단어에 대해 하나의 최적화된 벡터를 생성하고, 이후 추론 단계에서는 어떤 문맥에서 사용되더라도 항상 동일한 벡터 값을 반환하는 방식입니다.

이러한 특성으로 인해 다음과 같은 결정적인 한계가 발생합니다.

*   **다의어 처리 불가**: 하나의 단어가 여러 의미를 가진 경우, 정적 임베딩은 이를 하나의 벡터로 압축하여 표현합니다. 결과적으로 서로 다른 의미들이 벡터 공간상에서 혼합되어, 어떤 의미에도 정확히 일치하지 않는 '평균적인' 벡터가 생성됩니다.
    *   **사례**: "배"라는 단어가 있을 때, [먹는 과일], [타는 운송수단], [사람의 신체 부위]라는 세 가지 의미가 모두 하나의 벡터 $\vec{v}_{배}$로 표현됩니다. 따라서 "배가 고프다"와 "배가 항구에 들어온다"라는 문장에서 "배"는 동일한 벡터로 처리되어 문맥적 차이를 구분할 수 없습니다.
*   **문맥 무시**: 단어의 의미는 주변 단어와의 관계에 따라 결정되지만, 정적 임베딩은 입력 문장의 구조나 주변 단어의 영향을 전혀 받지 않고 룩업 테이블에서 값을 가져오는 단순 참조 방식입니다.

## 정적 임베딩 vs 문맥 기반 임베딩 비교

| 비교 항목 | 정적 임베딩 (Static) | 문맥 기반 임베딩 (Contextual) |
| :--- | :--- | :--- |
| **대표 모델** | Word2Vec, GloVe, FastText | BERT, RoBERTa, GPT 시리즈 |
| **벡터 생성 시점** | 사전 학습(Pre-training) 시 고정 | 추론(Inference) 시 동적 생성 |
| **단어별 벡터 수** | 단어당 1개의 고정 벡터 | 문맥에 따라 무수히 많은 벡터 생성 가능 |
| **다의어 처리** | 불가능 (하나의 벡터로 통합) | 가능 (문맥에 따라 다른 벡터 할당) |
| **계산 비용** | 매우 낮음 (단순 룩업) | 높음 (딥러닝 모델 연산 필요) |
| **메모리 효율성** | 높음 (단어 사전 크기만큼 저장) | 낮음 (거대 모델 파라미터 저장 필요) |

## 룩업 테이블의 작동 구조

정적 임베딩 모델은 내부적으로 **룩업 테이블(Lookup Table)** 형태의 행렬을 가집니다. 이는 거대한 가중치 행렬 $\mathbf{W} \in \mathbb{R}^{V \times D}$ (여기서 $V$는 단어 사전의 크기, $D$는 임베딩 차원)로 구현됩니다.

**작동 구조도:**
`입력 단어` $\rightarrow$ `정수 인덱스 변환` $\rightarrow$ `행렬 $\mathbf{W}$의 해당 행(Row) 추출` $\rightarrow$ `임베딩 벡터 반환`

1.  **인덱싱**: 입력된 단어(예: "사과")를 사전에서 정의된 고유 번호(예: 42번)로 변환합니다.
2.  **추출**: 임베딩 행렬 $\mathbf{W}$의 42번째 행을 직접 참조합니다.
3.  **결과**: 해당 행에 저장된 $D$차원의 실수 벡터가 최종 임베딩 값으로 사용됩니다.

이 과정은 수학적으로 원-핫 벡터 $\mathbf{x}$와 행렬 $\mathbf{W}$의 행렬 곱($\mathbf{x} \mathbf{W}$)과 동일하지만, 실제 구현에서는 효율성을 위해 인덱스를 통한 직접 참조(Indexing) 방식을 사용합니다.