# Lemmatization

## 개요

**Lemmatization**(표제어 추출)은 자연어 처리(Natural Language Processing, NLP)에서 중요한 전처리 기법 중 하나로, 단어를 그 언어적 원형(표제어, lemma)으로 환원하는 과정을 의미합니다. 예를 들어, 영어에서 "running"은 "run", "better"은 "good"의 비교급이므로 원형인 "good"으로 환원될 수 있습니다. 이 과정은 단어의 의미적 일관성을 유지하면서 다양한 형태의 표현을 하나의 표준 형태로 통합함으로써, 텍스트 분석의 정확도와 효율성을 높이는 데 기여합니다.

Lemmatization은 단순한 형태소 분석을 넘어 **문맥과 품사 정보**(Part-of-Speech, POS)를 고려하여 정확한 원형을 도출하는 것이 특징입니다. 이는 단어의 문법적 역할에 따라 다른 원형을 가질 수 있기 때문입니다. 예를 들어, "better"은 형용사로 쓰일 경우 "good"의 원형이 되지만, 명사로 쓰이면 별도의 의미를 가질 수 있습니다.

---

## Lemmatization의 목적

Lemmatization은 다음과 같은 목적을 가지고 사용됩니다:

- **텍스트 정규화**(Normalization): 다양한 형태의 단어를 하나의 표준 형태로 통일하여 분석의 일관성을 확보합니다.
- **중복 제거**: "running", "ran", "runs" 등을 모두 "run"으로 처리함으로써 중복된 어휘 표현을 줄입니다.
- **의미 기반 분석 강화**: 단순한 어형 변화가 아닌, 의미적 핵심을 반영한 원형을 사용함으로써 의미 분석의 정확도를 향상시킵니다.
- **검색 및 정보 추출 최적화**: 검색 엔진, 문서 분류, 감성 분석 등 다양한 NLP 작업에서 성능을 개선합니다.

---

## Lemmatization과 Stemming의 차이

Lemmatization은 비슷한 목적을 가진 또 다른 전처리 기법인 **Stemming**(어간 추출)과 자주 비교됩니다. 두 기법 모두 단어를 기본 형태로 변환하지만, 그 방식과 결과에는 중요한 차이가 있습니다.

| 비교 항목 | Lemmatization | Stemming |
|---------|---------------|----------|
| 기반 이론 | 언어학적 규칙, 사전 정보 | 규칙 기반 또는 알고리즘 기반 잘라내기 |
| 결과의 정확성 | 높음 (실제 존재하는 단어) | 낮음 (의미 없는 어간 생성 가능) |
| 처리 속도 | 상대적으로 느림 (POS 태깅 필요) | 빠름 |
| 문맥 고려 | 예 (품사 정보 활용) | 아니오 |
| 예시: "better" | → "good" | → "better" (변화 없음) |

예를 들어, stemming은 단어의 접미사를 단순히 제거하는 방식이기 때문에 "running"을 "runn"처럼 비정상적인 형태로 만들 수 있습니다. 반면 lemmatization은 "running"을 문맥에 따라 동사로 인식하고 "run"으로 정확하게 환원합니다.

---

## Lemmatization의 동작 방식

Lemmatization은 일반적으로 다음 단계를 거쳐 수행됩니다:

1. **토큰화**(Tokenization): 문장을 단어 단위로 분리합니다.
2. **품사 태깅**(POS Tagging): 각 단어의 품사(명사, 동사, 형용사 등)를 식별합니다.
3. **사전 기반 원형 매핑**: 품사 정보를 바탕으로 사전에서 해당 단어의 표제어를 찾습니다.
4. **결과 출력**: 원형 단어를 반환합니다.

이 과정에서 **품사 정보의 정확성**이 매우 중요합니다. 예를 들어, "meeting"은 명사일 수도 있고 동사일 수도 있으므로, 문맥에 따라 "meet" 또는 그대로 "meeting"으로 처리될 수 있습니다.

---

## 주요 도구 및 라이브러리

다양한 프로그래밍 언어와 NLP 라이브러리에서 lemmatization을 지원합니다. 대표적인 예는 다음과 같습니다.

### 1. **NLTK (Natural Language Toolkit, Python)**

```python
from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet

lemmatizer = WordNetLemmatizer()
word = "running"
lemma = lemmatizer.lemmatize(word, pos=wordnet.VERB)  # 품사 정보 제공
print(lemma)  # 출력: run
```

### 2. **spaCy (Python)**

spaCy는 내장된 언어 모델을 통해 품사 태깅과 lemmatization을 동시에 수행합니다.

```python
import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("The running fox was faster than the sleeping dog.")
for token in doc:
    print(f"{token.text} → {token.lemma_}")
```

### 3. **Stanford CoreNLP, UDPipe 등**

다른 언어(예: 독일어, 스페인어)나 더 정교한 분석이 필요한 경우, Stanford CoreNLP나 UDPipe와 같은 도구를 사용할 수 있습니다.

---

## 적용 사례

- **문서 분류**: 문서 내 단어를 표제어로 통일하여 벡터화(예: TF-IDF, Word2Vec) 시 의미의 중복을 줄입니다.
- **감성 분석**: "amazing", "amazed", "amaze" 등을 "amaze"로 통합하여 감정 어휘의 일관성을 확보합니다.
- **챗봇 및 질의 응답 시스템**: 사용자 입력의 다양한 표현을 표준화하여 정확한 응답을 도출합니다.
- **기계 번역 전처리**: 소스 언어의 단어를 원형으로 정리하여 번역 모델의 학습 효율을 높입니다.

---

## 참고 자료 및 관련 문서

- Bird, S., Klein, E., & Loper, E. (2009). *Natural Language Processing with Python*. O'Reilly Media.
- Jurafsky, D., & Martin, J. H. (2023). *Speech and Language Processing* (3rd ed. draft).
- [NLTK Documentation](https://www.nltk.org/)
- [spaCy Documentation](https://spacy.io/usage/linguistic-features#lemmatization)

Lemmatization은 언어의 복잡성을 반영하는 정교한 전처리 기법으로, 정확한 언어 분석을 위한 필수 요소입니다. 특히 의미 기반 NLP 작업에서는 stemming보다 우수한 성능을 발휘하며, 현대의 언어 모델과 결합하여 더욱 정밀한 분석이 가능해지고 있습니다.

## 언어별 Lemmatization의 특성

언어의 구조적 특성에 따라 표제어 추출 방식은 크게 달라집니다.

*   **굴절어 (Inflected Languages):** 영어, 스페인어, 독일어와 같은 언어는 단어의 끝부분이 변하며 문법적 기능을 수행합니다. 주로 사전 기반의 매핑이나 규칙 기반의 변환을 통해 원형을 찾습니다.
*   **교착어 (Agglutinative Languages):** 한국어, 터키어, 핀란드어와 같은 언어는 어근에 다양한 조사와 어미가 결합하여 의미와 문법적 기능을 확장합니다. 따라서 단순한 사전 매핑보다는 **형태소 분석(Morphological Analysis)** 과정이 필수적입니다. 한국어의 경우, '먹었습니다' $\rightarrow$ '먹-' (어근) + '-었-' (선어말어미) + '-습니다' (종결어미)와 같이 분석하여 기본형인 '먹다'를 도출하는 방식을 취합니다.

## 최신 NLP 트렌드와 Lemmatization

BERT, GPT와 같은 최신 대규모 언어 모델(LLM)의 등장으로 전통적인 Lemmatization의 역할이 변화하고 있습니다.

### 서브워드 토큰화(Subword Tokenization)의 등장
최근 모델들은 단어를 더 작은 단위로 쪼개는 **BPE(Byte Pair Encoding)**, **WordPiece**, **SentencePiece** 등의 기법을 사용합니다. 이는 미등록 단어(OOV, Out-of-Vocabulary) 문제를 해결하고, 단어의 내부 구조를 모델이 스스로 학습하게 함으로써 명시적인 표제어 추출 과정 없이도 의미적 유사성을 파악할 수 있게 합니다.

### BPE와 Lemmatization 비교

| 비교 항목 | Lemmatization | BPE (Subword Tokenization) |
| :--- | :--- | :--- |
| **접근 방식** | 언어학적 규칙 및 사전 기반 환원 | 통계적 빈도 기반의 문자열 분할 |
| **결과물** | 실제 언어의 기본형 (Lemma) | 통계적으로 유의미한 서브워드 단위 |
| **문맥 의존성** | POS 태깅을 통한 문맥 고려 | 데이터셋의 출현 빈도에 의존 |
| **주요 목적** | 어휘의 표준화 및 차원 축소 | OOV 문제 해결 및 효율적 임베딩 |

### 여전한 필요성
그럼에도 불구하고 Lemmatization은 다음과 같은 영역에서 여전히 중요합니다.
*   **전통적인 통계 기반 분석:** TF-IDF, LDA 토픽 모델링 등 단어의 빈도를 직접 계산하는 작업.
*   **지식 그래프 및 온톨로지 구축:** 개념 간의 관계를 정의할 때 표준화된 표제어가 필요함.
*   **설명 가능한 AI (XAI):** 모델의 판단 근거를 사람이 이해할 수 있는 단어 형태로 제시해야 할 때.

## 통계적 및 딥러닝 기반 표제어 추출

전통적인 사전 기반 방식의 한계를 극복하기 위해 데이터 기반의 예측 모델이 도입되었습니다.

*   **통계적 방식:** 주변 단어의 분포와 확률을 계산하여 가장 가능성 높은 원형을 예측합니다.
*   **딥러닝 기반 모델:** 신경망을 통해 단어의 문맥적 의미를 벡터화하고, 이를 바탕으로 표제어를 예측합니다. 대표적으로 **Seq2Seq(Sequence-to-Sequence)** 구조나 **Transformer** 기반의 아키텍처를 활용하여 입력 형태를 원형으로 변환하는 'Sequence Labeling' 또는 'Translation' 문제로 접근합니다. 최근에는 **LemmInflect**와 같이 대규모 코퍼스에서 학습된 통계적 모델이 널리 사용됩니다.

## 한국어 처리 도구 및 비교 예제

한국어는 형태소 분석기가 Lemmatization의 역할을 수행합니다. 대표적으로 **KoNLPy** 라이브러리를 통해 Mecab, Okt, Kkma 등의 분석기를 사용할 수 있습니다.

### KoNLPy vs NLTK 비교 예제

```python
# 1. NLTK (영어: 사전/규칙 기반)
from nltk.stem import WordNetLemmatizer
wnl = WordNetLemmatizer()
print(wnl.lemmatize("running", pos="v")) # 출력: run

# 2. KoNLPy (한국어: 형태소 분석 기반)
from konlpy.tag import Okt
okt = Okt()
# '먹었습니다'의 원형(표제어) 추출을 위해 stem=True 옵션 사용
print(okt.morphs("먹었습니다", stem=True)) # 출력: ['먹다', '습니다']
```

### 주요 한국어 라이브러리 특징
*   **Mecab-ko:** 속도가 매우 빠르고 분석 정확도가 높아 실무에서 가장 많이 사용됩니다.
*   **Okt (Open Korean Text):** 정규화 기능이 포함되어 있어 SNS 등 비정형 텍스트 처리에 강점이 있습니다.
*   **Kkma (꼬꼬마):** 분석은 정교하지만 처리 속도가 상대적으로 느립니다.