# Bag-of-Words (단어 가방 모델)

## 개요

**Bag-of-Words**(BoW, 단어 가방 모델)는 자연어 처리(NLP) 분야에서 텍스트 데이터를 기계가 이해할 수 있는 수치적 벡터 형태로 변환하는 가장 기본적이고 고전적인 방법론 중 하나입니다. 이 모델은 텍스트의 문법적 구조나 단어의 순서(문맥)를 무시하고, 문서 내에 등장하는 단어의 빈도수(frequency)만을 기반으로 데이터를 표현합니다. 마치 주머니(가방) 안에 있는 구슬(단어)들의 종류와 개수만 세어내는 것과 유사한 방식이라 하여 'Bag-of-Words'라는 이름이 붙여졌습니다.

BoW는 텍스트 분류, 감정 분석, 스팸 필터링, 정보 검색 등 다양한 머신러닝 및 딥러닝 작업의 전처리 단계에서 널리 사용되며, 현대의 복잡한 임베딩 기법(Word2Vec, BERT 등)이 등장하기 전까지 NLP의 표준적인 접근 방식으로 자리 잡았습니다.

## 핵심 개념 및 작동 원리

Bag-of-Words 모델은 텍스트 데이터를 처리하기 위해 다음과 같은 단계적인 과정을 거칩니다.

### 1. 사전(Vocabulary) 구축
먼저 처리할 전체 텍스트 코퍼스(Corpus)에서 고유한 단어들의 집합인 **사전**을 구축합니다. 이때 일반적으로 불용어(Stopwords, 예: 'the', 'is', '에', '는' 등 의미 전달에 덜 기여하는 단어)를 제거하고, 단어의 형태소 분석이나 어간 추출(Lemmatization/Stemming)을 통해 표준화된 단어 목록을 만듭니다.

### 2. 벡터화 (Vectorization)
구축된 사전을 기준으로 각 문서(문장 또는 문서 전체)를 벡터로 변환합니다. 사전에 포함된 모든 고유 단어를 차원(Dimension)으로 보고, 각 문서에서 해당 단어가 등장한 횟수(또는 등장 여부)를 값으로 설정합니다.

*   **Count Vector**: 단어의 순수 등장 횟수를 사용합니다.
*   **TF-IDF Vector**: 단어의 빈도(TF)와 전체 문서 중 해당 단어가 드물게 등장하는 정도(IDF)를 곱하여 가중치를 부여합니다. 이는 자주 등장하지만 의미 있는 정보가 적은 단어의 영향을 줄이는 데 효과적입니다.

### 3. 예시
다음과 같은 두 개의 문장이 있다고 가정해 봅시다.
1. "나는 사과를 좋아해"
2. "너는 바나나를 좋아해"

이때 구축된 사전이 `['나', '너', '사과', '바나나', '좋아해']`라고 하면, 각 문장은 다음과 같은 벡터로 표현됩니다.

| 단어 | 문서 1 ("나는 사과를 좋아해") | 문서 2 ("너는 바나나를 좋아해") |
| :--- | :---: | :---: |
| 나 | 1 | 0 |
| 너 | 0 | 1 |
| 사과 | 1 | 0 |
| 바나나 | 0 | 1 |
| 좋아해 | 1 | 1 |

결과적으로 문서 1은 `[1, 0, 1, 0, 1]`, 문서 2는 `[0, 1, 0, 1, 1]`이라는 수치적 벡터로 변환됩니다.

## 주요 특징

### 장점
*   **구현의 용이성**: 알고리즘이 단순하여 구현이 쉽고 계산 비용이 낮습니다.
*   **확장성**: 대규모 데이터셋에서도 비교적 효율적으로 처리할 수 있습니다.
*   **기본적인 패턴 인식**: 단어의 출현 빈도만으로도 텍스트의 주제나 분류에 대한 유의미한 정보를 제공할 수 있습니다.

### 단점 및 한계
*   **문맥 정보의 손실**: 단어의 순서와 문법적 관계를 무시하므로, "개가 개를 쫓는다"와 "개가 쫓는다"와 같은 문장의 미묘한 뉘앙스 차이를 구분하지 못합니다.
*   **희소성 문제(Sparsity)**: 사전의 크기가 매우 커지면 대부분의 벡터 요소가 0이 되는 희소 행렬(Sparse Matrix)이 생성되어 저장 공간과 계산 효율성에 문제를 일으킬 수 있습니다.
*   **단어의 의미적 유사성 무시**: "사과"와 "Apple"이 다른 단어로 취급되거나, "좋아해"와 "사랑해"가 별개의 차원으로 처리되어 의미적 연관성이 반영되지 않습니다.

## 관련 기술 및 발전 방향

Bag-of-Words는 NLP의 초기 단계에서 중요한 역할을 했지만, 단어의 의미와 문맥을 이해하지 못하는 한계로 인해 점차 더 발전된 기법들과 결합되거나 대체되고 있습니다.

1.  **TF-IDF**: BoW의 빈도 기반 접근법을 개선하여, 문서 내에서 중요한 단어와 덜 중요한 단어를 구분하는 가중치 기법입니다.
2.  **Word Embeddings (Word2Vec, GloVe)**: 단어를 고차원의 밀집 벡터(Dense Vector)로 표현하여 단어 간의 의미적 유사성과 문맥적 관계를 포착합니다.
3.  **Transformer 기반 모델 (BERT, GPT)**: 어텐션 메커니즘(Attention Mechanism)을 통해 문장 전체의 문맥을 고려하여 동적으로 단어의 표현을 생성합니다. 이는 BoW가 가진 정적(Static)인 표현의 한계를 극복합니다.

## 결론

Bag-of-Words는 자연어 처리의 역사에서 텍스트 데이터를 수치화하는 첫 번째 단계로서 중요한 이정표를 남겼습니다. 비록 현대의 심층 학습 모델들이 문맥과 의미를 더 정교하게 처리하지만, BoW는 여전히 빠른 프로토타이핑, 간단한 텍스트 분류 작업, 그리고 다른 복잡한 모델의 특징 추출기(Feature Extractor)로써 유용하게 활용되고 있습니다. 데이터 과학자 및 NLP 연구자는 BoW의 원리를 이해함으로써 더 복잡한 임베딩 기법과의 차이점과 상호 보완적 관계를 파악할 수 있습니다.

## 참고 자료 및 관련 문서
*   [자연어 처리(NLP) 기초]
*   [TF-IDF 알고리즘]
*   [Word2Vec 및 임베딩 기법]
*   [희소 행렬(Sparse Matrix) 처리 기술]