# WordNetLemmatizer

## 1. 개요
**WordNetLemmatizer**는 Python의 자연어 처리 라이브러리인 NLTK(Natural Language Toolkit)에서 제공하는 클래스로, 단어의 문맥과 품사를 고려하여 사전적 기본형인 **표제어(Lemma)**를 추출하는 도구입니다.

**표제어 추출(Lemmatization)**이란 단어의 형태학적 분석을 통해 사전적 기본형을 찾는 과정입니다. 이는 단순히 단어의 끝부분을 잘라내는 **어간 추출(Stemming)**과 구별됩니다. 어간 추출은 규칙 기반으로 접미사를 제거하므로 'flies'를 'fli'로 변환하는 등 실제 사전에 없는 단어를 생성할 가능성이 높지만, 표제어 추출은 언어적 지식(사전)을 바탕으로 'flies'를 'fly'로 정확하게 변환합니다.

## 2. 작동 원리 및 WordNet 데이터베이스
WordNetLemmatizer는 프린스턴 대학교에서 구축한 거대한 영어 어휘 데이터베이스인 **WordNet** 코퍼스를 기반으로 작동합니다.

- **메커니즘**: 입력된 단어가 WordNet 데이터베이스에 존재하는지 확인하고, 해당 단어의 품사 정보와 형태소 분석 규칙을 대조하여 가장 적절한 기본형(Lemma)을 반환합니다.
- **사전 기반 접근**: 단순한 규칙(Rule-based)이 아니라, 단어 간의 유의어, 상위어, 하위어 관계가 정의된 네트워크 구조를 활용하므로 문법적으로 더 정확한 결과를 도출합니다.
- **품사 의존성**: 기본적으로 WordNetLemmatizer는 입력 단어를 **명사(Noun)**로 가정합니다. 따라서 동사나 형용사를 처리할 때는 반드시 해당 단어의 품사 정보를 함께 제공해야 정확한 표제어 추출이 가능합니다.

## 3. 주요 사용법 및 API
WordNetLemmatizer를 사용하기 위해서는 `nltk` 라이브러리와 `wordnet` 코퍼스 데이터가 필요합니다.

### 3.1 설치 및 기본 설정
```python
# 라이브러리 설치
# pip install nltk

import nltk
from nltk.stem import WordNetLemmatizer

# 필수 데이터 다운로드
nltk.download('wordnet')
# omw-1.4(Open Multilingual WordNet)는 다국어 지원 및 최신 WordNet 데이터셋을 제공하며, 
# 영어 전용 사용 시에도 최신 데이터 정합성을 위해 다운로드를 권장합니다.
nltk.download('omw-1.4')

# 객체 생성
lemmatizer = WordNetLemmatizer()
```

### 3.2 `lemmatize()` 메서드
가장 핵심이 되는 메서드는 `lemmatize(word, pos='n')`입니다.
- `word`: 기본형을 찾고자 하는 대상 단어
- `pos`: 품사(Part-of-Speech) 지정. 기본값은 `'n'`(명사)이며, `'v'`(동사), `'a'`(형용사), `'r'`(부사) 등을 지정할 수 있습니다.

```python
# 기본 사용 예시
print(lemmatizer.lemmatize("rocks"))     # 결과: rock (명사로 인식)
print(lemmatizer.lemmatize("corpora"))   # 결과: corpus (명사 복수형 처리)
# 불규칙 형용사(comparative)의 기본형 복원: Lemmatization의 핵심 강점
print(lemmatizer.lemmatize("better", pos="a")) # 결과: good
```

## 4. 품사 태깅(POS Tagging)의 중요성
WordNetLemmatizer의 가장 큰 한계는 품사 정보를 명시하지 않으면 모든 단어를 명사로 처리한다는 점입니다. 예를 들어, "ate"라는 단어를 품사 지정 없이 처리하면 그대로 "ate"가 반환되지만, 동사(`pos='v'`)로 지정하면 "eat"으로 변환됩니다.

하지만 NLTK의 `pos_tag()` 함수가 반환하는 태그(예: VBD, NNP)는 WordNet이 사용하는 태그(예: v, n)와 형식이 다릅니다. 따라서 이를 변환해주는 매핑 과정이 필수적입니다.

### 4.1 NLTK $\rightarrow$ WordNet 품사 매핑 표
| NLTK Tag (시작 문자) | 의미 | WordNet Tag | 설명 |
| :--- | :--- | :--- | :--- |
| J (JJ, JJR, JJS) | Adjective | `wordnet.ADJ` ('a') | 형용사 |
| V (VB, VBD, VBG, VBN, VBP, VBZ) | Verb | `wordnet.VERB` ('v') | 동사 |
| N (NN, NNS, NNP, NNPS) | Noun | `wordnet.NOUN` ('n') | 명사 |
| R (RB, RBR, RBS) | Adverb | `wordnet.ADV` ('r') | 부사 |

### 4.2 품사 태그 자동 변환 함수 예제
실제 대량의 데이터를 처리할 때는 단어 하나마다 `pos_tag()`를 호출하는 것이 매우 비효율적입니다. 따라서 문장 전체를 먼저 태깅한 뒤, 추출된 태그(tuple)를 함수에 전달하는 방식이 권장됩니다.

```python
import nltk
from nltk.corpus import wordnet

# 필수 데이터 다운로드
nltk.download('averaged_perceptron_tagger')

def get_wordnet_pos(tag):
    """NLTK 품사 태그(문자열)를 WordNet 품사 태그로 변환"""
    # 태그의 첫 글자만 추출하여 판별
    tag_start = tag[0].upper()
    tag_dict = {"J": wordnet.ADJ,
                "N": wordnet.NOUN,
                "V": wordnet.VERB,
                "R": wordnet.ADV}
    return tag_dict.get(tag_start, wordnet.NOUN) # 매핑 안될 시 명사로 반환

# 적용 예시
word = "flying"
# 단어 하나에 대해 태깅 후 변환하는 과정
tag = nltk.pos_tag([word])[0][1] 
print(lemmatizer.lemmatize(word, get_wordnet_pos(tag))) # 결과: fly
```

## 5. 활용 사례 및 성능 비교
WordNetLemmatizer는 주로 텍스트 전처리 파이프라인의 **정규화(Normalization)** 단계에서 사용됩니다. 토큰화(Tokenization)와 불용어 제거(Stopword Removal) 이후에 적용하여 데이터의 차원을 축소하고 분석의 일관성을 높입니다.

### 5.1 실제 텍스트 데이터 전처리 적용 사례
```python
import nltk
from nltk.tokenize import word_tokenize
from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet

# 필수 데이터 다운로드
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('wordnet')
nltk.download('omw-1.4')

lemmatizer = WordNetLemmatizer()

def get_wordnet_pos(tag):
    tag_start = tag[0].upper()
    tag_dict = {"J": wordnet.ADJ, "N": wordnet.NOUN, "V": wordnet.VERB, "R": wordnet.ADV}
    return tag_dict.get(tag_start, wordnet.NOUN)

text = "The striped bats are hanging on their feet for sleeping"
tokens = word_tokenize(text.lower())

# 1. 문장 전체를 먼저 품사 태깅 (효율적 접근)
pos_tags = nltk.pos_tag(tokens)

# 2. 태깅된 결과를 바탕으로 표제어 추출
lemmatized_text = [lemmatizer.lemmatize(word, get_wordnet_pos(tag)) for word, tag in pos_tags]

print(f"원본: {tokens}")
print(f"결과: {lemmatized_text}")
# 결과: ['the', 'stripe', 'bat', 'be', 'hang', 'on', 'their', 'foot', 'for', 'sleep']
```

### 5.2 Stemming vs Lemmatization 비교
| 비교 항목 | Stemming (예: PorterStemmer) | Lemmatization (WordNet) |
| :--- | :--- | :--- |
| **방식** | 규칙 기반 접미사 제거 | 사전 기반 형태소 분석 |
| **정확도** | 낮음 (Over-stemming 발생 가능) | 높음 (문법적 기본형 유지) |
| **속도** | 매우 빠름 | 상대적으로 느림 (사전 조회 필요) |
| **결과물** | 사전에 없는 단어 생성 가능 | 항상 실제 존재하는 단어 반환 |
| **적합한 사례** | 검색 엔진의 인덱싱, 빠른 처리 필요 시 | 챗봇, 감성 분석, 정밀한 텍스트 분석 |

## 6. 한계점 및 대안
WordNetLemmatizer는 강력한 도구이지만 다음과 같은 한계가 존재합니다.

1. **언어 제한**: WordNet 데이터베이스 기반이므로 영어에 최적화되어 있으며, 다른 언어에 적용하기 어렵습니다.
2. **문맥 파악 부족**: 단어 단위로 처리하므로, 문장 전체의 깊은 문맥(Context)을 파악하여 품사를 결정하는 능력이 부족합니다.
3. **정적 데이터베이스**: 최신 신조어나 전문 용어가 WordNet에 업데이트되지 않았을 경우 처리하지 못합니다.
4. **시간 복잡도**: 단순 규칙 기반의 Stemming과 달리, 매 단어마다 사전(Dictionary) 조회를 수행하므로 처리 시간이 더 오래 걸립니다. (평균적으로 $O(1)$의 사전 조회 시간이 소요되나, 전체 텍스트 처리 시 Stemming보다 오버헤드가 큼)

### 추천 대안
더 높은 정확도와 다국어 지원이 필요한 경우 다음과 같은 최신 라이브러리를 권장합니다.
- **spaCy**: 딥러닝 기반의 통계 모델을 사용하여 문맥을 파악한 표제어 추출을 수행하며, 처리 속도가 매우 빠르고 다국어를 지원합니다.
- **Stanza (Stanford NLP)**: 정확도가 매우 높으며, 언어학적 분석에 강점이 있는 파이프라인을 제공합니다.
- **BERT/Transformer 기반 모델**: 단순 표제어 추출을 넘어 문맥적 의미를 벡터로 표현(Embedding)하여 정규화 단계를 대체하는 추세입니다.