# 표제어 추출

## 개요

**표제어 추출**(Lemmatization)은 자연어처리(NLP, Natural Language Processing)에서 단어의 사전형 또는 기본 형태를 추출하는 기법입니다. 언어의 형태론적 구조를 분석하여 다양한 형태의 단어(예: 시제, 수, 성, 격 등에 따라 변화한 형태)를 그 원형으로 환원하는 과정입니다. 예를 들어, 영어에서 "running", "ran", "runs"는 각각 현재분사, 과거형, 3인칭 단수 현재형이지만, 모두 표제어 **"run"** 으로 통일될 수 있습니다.

표제어 추출은 텍스트 마이닝, 정보 검색, 기계 번역, 감성 분석 등 다양한 자연어처리 응용 분야에서 전처리 단계로 핵심적인 역할을 합니다. 특히, 단어 형태의 다양성을 줄여주어 모델의 성능 향상과 데이터의 일관성을 확보하는 데 기여합니다.

---

## 표제어 추출의 원리

### 형태소 분석과의 관계

표제어 추출은 **형태소 분석**(Morphological Analysis)과 밀접한 관련이 있습니다. 형태소 분석은 단어를 의미 있는 최소 단위인 형태소(예: 접두사, 어근, 접미사)로 분해하는 과정이며, 표제어 추출은 이 분석 결과를 바탕으로 어근 또는 사전형을 도출합니다.

예를 들어, 한국어에서 "읽었다"라는 단어는 다음과 같이 분석될 수 있습니다:
- 어근: `읽`
- 어미: `었`, `다`

이 경우 표제어는 **"읽다"** 가 됩니다.

### 문맥 고려 여부

표제어 추출은 일반적으로 **문맥**(context)을 고려합니다. 이는 **의존적 형태소 분석**(Dependency-based Morphological Analysis) 또는 **품사 태깅**(POS Tagging)과 결합되어 보다 정확한 결과를 도출합니다. 예를 들어, 영어 단어 "better"은 형용사의 비교급이며, 그 표제어는 "good"입니다. 단순한 규칙 기반 방법만으로는 이 관계를 파악하기 어렵기 때문에, 문맥과 품사 정보가 필수적입니다.

---

## 표제어 추출 vs. 스테밍

자연어처리에서는 표제어 추출과 함께 **스테밍**(Stemming)이라는 유사 기법도 자주 사용됩니다. 두 기법 모두 단어를 기본 형태로 줄이는 것을 목표로 하지만, 그 방식과 정확도에는 차이가 있습니다.

| 구분 | 표제어 추출 (Lemmatization) | 스테밍 (Stemming) |
|------|-----------------------------|-------------------|
| 정의 | 문법적으로 올바른 사전형을 추출 | 접사 등을 제거하여 어근 형태를 추출 |
| 정확도 | 높음 (의미 있는 단어 생성) | 낮음 (의미 없는 형태 생성 가능) |
| 속도 | 비교적 느림 (문맥 분석 필요) | 빠름 (규칙 기반) |
| 예시 (running) | run | run |
| 예시 (better) | good | better |

예를 들어, "better"의 스테밍 결과는 일반적으로 "better" 그대로이지만, 표제어 추출은 "good"을 반환합니다. 따라서 정확성이 중요한 응용에서는 **표제어 추출이 더 적합**합니다.

---

## 주요 알고리즘 및 도구

### 1. **WordNet Lemmatizer (영어)**
- **NLTK**(Natural Language Toolkit) 라이브러리에서 제공
- WordNet 사전 기반으로 동작
- 품사 정보를 입력으로 받아 정확한 표제어 추출 가능
```python
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize("running", pos="v"))  # 출력: run
```

### 2. **spaCy**
- 고급 NLP 파이프라인 제공
- 품사 태깅, 의존성 파싱과 통합되어 높은 정확도 보장
- 다국어 지원
```python
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("The cats are running faster than the dogs")
for token in doc:
    print(token.text, token.lemma_)
```

### 3. **KoNLPy (한국어)**
- 한국어 형태소 분석을 위한 파이썬 라이브러리
- Okt, Komoran, Hannanum 등 다양한 엔진 지원
- "형태소 분석 + 사전 매핑" 방식으로 표제어 추출 구현
```python
from konlpy.tag import Okt
okt = Okt()
print(okt.pos("읽었다"))  # 출력: [('읽', 'Verb'), ('었', 'Eomi'), ('다', 'Josa')]
# 이후 '읽' + '다' → '읽다'로 병합
```

---

## 응용 분야

- **검색 엔진**: 사용자 쿼리와 문서 내 단어를 동일한 표제어로 정규화하여 정확한 검색 가능
- **감성 분석**: "좋아요", "좋았어요", "좋다" 등을 모두 "좋다"로 통합하여 분석
- **챗봇 및 대화 시스템**: 다양한 표현을 동일한 의미 단위로 매핑
- **기계 학습 모델 전처리**: 단어 형태 다양성 감소 → 벡터 공간 모델의 차원 감소 및 성능 향상

---

## 참고 자료 및 관련 문서

- Bird, S., Klein, E., & Loper, E. (2009). *Natural Language Processing with Python*. O'Reilly Media.
- Jurafsky, D., & Martin, J. H. (2023). *Speech and Language Processing* (3rd ed. draft).
- [NLTK Documentation](https://www.nltk.org/)
- [spaCy Documentation](https://spacy.io/)
- [KoNLPy GitHub](https://github.com/konlpy/konlpy)

> **관련 기법**: 형태소 분석, 스테밍, 품사 태깅, 토큰화