어간 정규화

작성자

익명

작성일

2026.08.07

조회수

None

버전

어간 정규화 자연어 처리 NLP Porter Stemmer Snowball Stemmer 표제어 추출 NLTK KoNLPy 텍스트 전처리 중급

어간 정규화 (Stemming)

1. 개요

어간 정규화(Stemming)란 단어의 형태학적 변형을 제거하여 단어의 뿌리가 되는 기본형인 어간(Stem)을 추출하는 텍스트 전처리 기법이다. 자연어 처리(NLP) 과정에서 동일한 의미를 가지지만 형태가 다른 단어들(예: connect, connected, connecting)을 하나의 대표 단어로 통합함으로써, 분석해야 할 단어의 종류(Vocabulary size)를 줄이고 정보 검색의 재현율(Recall)을 높이는 것을 목적으로 한다.

2. 작동 원리 및 메커니즘

어간 정규화는 주로 규칙 기반(Rule-based) 접근 방식을 사용한다. 언어별로 정의된 접미사(Suffix) 제거 규칙 리스트를 가지고 있으며, 입력된 단어의 끝부분이 해당 규칙과 일치하면 이를 잘라내는 방식으로 작동한다. 이는 단어의 문법적 성분이나 사전적 의미를 분석하는 것이 아니라, 단순한 문자열 패턴 매칭을 통해 수행된다.

[표 1] 영어 단어의 어간 정규화 예시

원형 단어 (Original Word)	정규화 결과 (Stem)	적용 규칙 (예시)
playing	play	`-ing` 제거
played	play	`-ed` 제거
plays	play	`-s` 제거
happiness	happi	`-ness` → `-i` 변환
universal	univers	`-al` 제거

3. 주요 알고리즘

어간 정규화 알고리즘은 규칙의 엄격함과 복잡도에 따라 성능과 결과가 달라진다.

3.1 포터 알고리즘 (Porter Stemmer)

1980년에 개발된 가장 표준적인 알고리즘으로, 단계별 규칙을 적용하여 점진적으로 접미사를 제거한다. 속도가 빠르고 범용적이지만, 규칙이 비교적 완만하여 정밀도가 낮을 수 있다.

3.2 랭카스터 알고리즘 (Lancaster Stemmer)

포터 알고리즘보다 훨씬 더 공격적으로 접미사를 제거한다. 규칙의 수가 많고 엄격하여 단어를 매우 짧게 줄이는 경향이 있으며, 이로 인해 과잉 제거(Over-stemming)가 빈번하게 발생한다.

3.3 스노볼 알고리즘 (Snowball Stemmer)

포터 알고리즘을 개선한 버전으로, 'Porter2'라고도 불린다. 포터 알고리즘의 효율성을 높였을 뿐만 아니라, 영어 외에도 다양한 언어에 적용 가능하도록 설계되어 다국어 지원 환경에서 널리 사용된다.

[표 2] 주요 알고리즘 비교

비교 항목	Porter Stemmer	Lancaster Stemmer	Snowball Stemmer
접근 방식	단계적/온건한 규칙 적용	공격적/엄격한 규칙 적용	Porter 개선 및 다국어 지원
처리 속도	빠름	매우 빠름	빠름
정밀도 (Precision)	상대적으로 높음	낮음	높음
재현율 (Recall)	보통	높음 (더 많은 단어를 통합)	보통-높음
특징	표준적인 결과 도출	과도한 생략 가능성 높음	범용성과 정확도의 균형

4. 표제어 추출(Lemmatization)과의 차이점

어간 정규화와 자주 혼동되는 개념이 표제어 추출(Lemmatization)이다. 표제어 추출은 단어의 형태소 분석과 사전적 정의를 바탕으로 기본형(Lemma)을 찾는 과정이다.

[표 3] Stemming vs Lemmatization 비교 분석

구분	어간 정규화 (Stemming)	표제어 추출 (Lemmatization)
작동 원리	단순 규칙 기반 접미사 제거	사전 및 문법 분석 기반
결과물	어간 (항상 실제 단어는 아님)	표제어 (항상 실제 사전에 존재하는 단어)
문맥 고려	고려하지 않음	품사(POS) 등 문맥 고려 가능
처리 속도	매우 빠름	상대적으로 느림
정확도	낮음 (오류 가능성 있음)	높음

5. 언어별 특성 및 한계

5.1 언어적 특성

굴절어 (영어 등): 단어 끝에 접미사가 붙어 문법적 기능이 변하므로, 규칙 기반의 어간 정규화가 비교적 효과적이다.
교착어 (한국어 등): 어근에 조사, 어미, 접사가 복잡하게 결합하는 구조이다. 단순 접미사 제거 방식으로는 한계가 있으며, 반드시 KoNLPy(Okt, Kkma, Komoran 등)와 같은 형태소 분석기를 통한 분석이 선행되어야 한다.

5.2 정규화 오류

어간 정규화의 규칙 기반 특성으로 인해 다음과 같은 두 가지 주요 오류가 발생한다.

[표 4] 과잉 제거 및 과소 제거 사례

오류 유형	정의	구체적 사례	결과 및 문제점
과잉 제거 (Over-stemming)	서로 다른 의미의 단어를 동일한 어간으로 통합하는 경우	`University` → `Univers` `Universe` → `Univers`	대학과 우주라는 서로 다른 개념이 하나로 묶여 의미 왜곡 발생
과소 제거 (Under-stemming)	동일한 의미의 단어를 서로 다른 어간으로 남겨두는 경우	`Alumnus` → `Alumnus` `Alumni` → `Alumni`	단수/복수형이 통합되지 않아 데이터 희소성 문제 지속

6. 실제 적용 사례 (Use Case)

어간 정규화는 정밀한 의미 분석보다는 대량의 텍스트에서 빠르게 패턴을 찾아야 하는 경우에 주로 사용된다.

정보 검색 (Information Retrieval): 사용자가 'fishing'으로 검색했을 때, 'fish', 'fished', 'fishery'가 포함된 문서까지 모두 검색 결과에 포함시켜 재현율을 높일 때 사용한다.
감성 분석 (Sentiment Analysis): 'happy', 'happier', 'happiest'를 모두 'happi'로 통합하여 긍정 단어의 빈도수를 효율적으로 계산할 때 활용한다.
스팸 필터링: 스팸 메일 발송자가 필터링을 피하기 위해 의도적으로 변형한 단어들(예: 'free', 'freee', 'freeee')을 정규화하여, 일관된 필터링 규칙을 적용함으로써 탐지 효율성을 높인다.

7. 알고리즘 선택 가이드라인

분석 목적에 따라 적절한 기법을 선택해야 한다.

속도가 최우선이며, 대략적인 키워드 매칭이 중요한 경우 $\rightarrow$ Porter Stemmer
매우 공격적인 통합이 필요하며, 데이터셋이 극도로 큰 경우 $\rightarrow$ Lancaster Stemmer
다국어 지원이 필요하며 균형 잡힌 성능을 원하는 경우 $\rightarrow$ Snowball Stemmer
문법적 정확성이 중요하고, 결과물이 실제 단어여야 하는 경우 $\rightarrow$ Lemmatization
한국어 텍스트를 처리하는 경우 $\rightarrow$ KoNLPy 등의 형태소 분석기를 통한 어근 추출

8. 구현 예제

Python의 <a href="/doc/%EA%B8%B0%EC%88%A0/%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC/%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC%20%EB%8F%84%EA%B5%AC/NLTK" class="wiki-link">NLTK</a> 라이브러리를 이용한 영어 어간 정규화와 KoNLPy를 이용한 한국어 형태소 분석 예제이다.

# 1. 영어 어간 정규화 (NLTK 라이브러리 활용)
from nltk.stem import PorterStemmer, LancasterStemmer, SnowballStemmer

porter = PorterStemmer()
lancaster = LancasterStemmer()
snowball = SnowballStemmer("english")

words = ["connecting", "connected", "connection", "university", "universe"]

print("--- Porter Stemmer ---")
for w in words:
    print(f"{w} -> {porter.stem(w)}")

print("\n--- Lancaster Stemmer ---")
for w in words:
    print(f"{w} -> {lancaster.stem(w)}")

print("\n--- Snowball Stemmer ---")
for w in words:
    print(f"{w} -> {snowball.stem(w)}")

# 2. 한국어 어근 추출 (KoNLPy - Okt 형태소 분석기 활용)
from konlpy.tag import Okt

okt = Okt()
text = "어간 정규화는 자연어 처리의 기초입니다."
# stem=True 옵션을 통해 어간 추출(정규화) 수행
# 출력 결과 예시: ['어간', '정규화', '는', '자연어', '처리', '의', '기초', '입니다']
print("\n--- Korean Stemming (Okt) ---")
print(okt.morphs(text, stem=True))

[[분류:기술]] [[분류:자연어처리]] [[분류:정규화 기법]]

📝 마크다운 원본

이 문서의 마크다운 원본 내용입니다.

# 어간 정규화 (Stemming)

## 1. 개요
**어간 정규화(Stemming)**란 단어의 형태학적 변형을 제거하여 단어의 뿌리가 되는 기본형인 어간(Stem)을 추출하는 텍스트 전처리 기법이다. 자연어 처리(NLP) 과정에서 동일한 의미를 가지지만 형태가 다른 단어들(예: *connect, connected, connecting*)을 하나의 대표 단어로 통합함으로써, 분석해야 할 단어의 종류(Vocabulary size)를 줄이고 정보 검색의 재현율(Recall)을 높이는 것을 목적으로 한다.

## 2. 작동 원리 및 메커니즘
어간 정규화는 주로 **규칙 기반(Rule-based)** 접근 방식을 사용한다. 언어별로 정의된 접미사(Suffix) 제거 규칙 리스트를 가지고 있으며, 입력된 단어의 끝부분이 해당 규칙과 일치하면 이를 잘라내는 방식으로 작동한다. 이는 단어의 문법적 성분이나 사전적 의미를 분석하는 것이 아니라, 단순한 문자열 패턴 매칭을 통해 수행된다.

**[표 1] 영어 단어의 어간 정규화 예시**

| 원형 단어 (Original Word) | 정규화 결과 (Stem) | 적용 규칙 (예시) |
| :--- | :--- | :--- |
| playing | play | `-ing` 제거 |
| played | play | `-ed` 제거 |
| plays | play | `-s` 제거 |
| happiness | happi | `-ness` → `-i` 변환 |
| universal | univers | `-al` 제거 |

## 3. 주요 알고리즘
어간 정규화 알고리즘은 규칙의 엄격함과 복잡도에 따라 성능과 결과가 달라진다.

### 3.1 포터 알고리즘 (Porter Stemmer)
1980년에 개발된 가장 표준적인 알고리즘으로, 단계별 규칙을 적용하여 점진적으로 접미사를 제거한다. 속도가 빠르고 범용적이지만, 규칙이 비교적 완만하여 정밀도가 낮을 수 있다.

### 3.2 랭카스터 알고리즘 (Lancaster Stemmer)
포터 알고리즘보다 훨씬 더 공격적으로 접미사를 제거한다. 규칙의 수가 많고 엄격하여 단어를 매우 짧게 줄이는 경향이 있으며, 이로 인해 과잉 제거(Over-stemming)가 빈번하게 발생한다.

### 3.3 스노볼 알고리즘 (Snowball Stemmer)
포터 알고리즘을 개선한 버전으로, 'Porter2'라고도 불린다. 포터 알고리즘의 효율성을 높였을 뿐만 아니라, 영어 외에도 다양한 언어에 적용 가능하도록 설계되어 다국어 지원 환경에서 널리 사용된다.

**[표 2] 주요 알고리즘 비교**

| 비교 항목 | Porter Stemmer | Lancaster Stemmer | Snowball Stemmer |
| :--- | :--- | :--- | :--- |
| **접근 방식** | 단계적/온건한 규칙 적용 | 공격적/엄격한 규칙 적용 | Porter 개선 및 다국어 지원 |
| **처리 속도** | 빠름 | 매우 빠름 | 빠름 |
| **정밀도 (Precision)** | 상대적으로 높음 | 낮음 | 높음 |
| **재현율 (Recall)** | 보통 | 높음 (더 많은 단어를 통합) | 보통-높음 |
| **특징** | 표준적인 결과 도출 | 과도한 생략 가능성 높음 | 범용성과 정확도의 균형 |

## 4. 표제어 추출(Lemmatization)과의 차이점
어간 정규화와 자주 혼동되는 개념이 **표제어 추출(Lemmatization)**이다. 표제어 추출은 단어의 형태소 분석과 사전적 정의를 바탕으로 기본형(Lemma)을 찾는 과정이다.

**[표 3] Stemming vs Lemmatization 비교 분석**

| 구분 | 어간 정규화 (Stemming) | 표제어 추출 (Lemmatization) |
| :--- | :--- | :--- |
| **작동 원리** | 단순 규칙 기반 접미사 제거 | 사전 및 문법 분석 기반 |
| **결과물** | 어간 (항상 실제 단어는 아님) | 표제어 (항상 실제 사전에 존재하는 단어) |
| **문맥 고려** | 고려하지 않음 | 품사(POS) 등 문맥 고려 가능 |
| **처리 속도** | 매우 빠름 | 상대적으로 느림 |
| **정확도** | 낮음 (오류 가능성 있음) | 높음 |

## 5. 언어별 특성 및 한계

### 5.1 언어적 특성
- **굴절어 (영어 등):** 단어 끝에 접미사가 붙어 문법적 기능이 변하므로, 규칙 기반의 어간 정규화가 비교적 효과적이다.
- **교착어 (한국어 등):** 어근에 조사, 어미, 접사가 복잡하게 결합하는 구조이다. 단순 접미사 제거 방식으로는 한계가 있으며, 반드시 **KoNLPy(Okt, Kkma, Komoran 등)**와 같은 형태소 분석기를 통한 분석이 선행되어야 한다.

### 5.2 정규화 오류
어간 정규화의 규칙 기반 특성으로 인해 다음과 같은 두 가지 주요 오류가 발생한다.

**[표 4] 과잉 제거 및 과소 제거 사례**

| 오류 유형 | 정의 | 구체적 사례 | 결과 및 문제점 |
| :--- | :--- | :--- | :--- |
| **과잉 제거 (Over-stemming)** | 서로 다른 의미의 단어를 동일한 어간으로 통합하는 경우 | `University` → `Univers`<br>`Universe` → `Univers` | 대학과 우주라는 서로 다른 개념이 하나로 묶여 의미 왜곡 발생 |
| **과소 제거 (Under-stemming)** | 동일한 의미의 단어를 서로 다른 어간으로 남겨두는 경우 | `Alumnus` → `Alumnus`<br>`Alumni` → `Alumni` | 단수/복수형이 통합되지 않아 데이터 희소성 문제 지속 |

## 6. 실제 적용 사례 (Use Case)
어간 정규화는 정밀한 의미 분석보다는 **대량의 텍스트에서 빠르게 패턴을 찾아야 하는 경우**에 주로 사용된다.

1. **정보 검색 (Information Retrieval):** 사용자가 'fishing'으로 검색했을 때, 'fish', 'fished', 'fishery'가 포함된 문서까지 모두 검색 결과에 포함시켜 재현율을 높일 때 사용한다.
2. **감성 분석 (Sentiment Analysis):** 'happy', 'happier', 'happiest'를 모두 'happi'로 통합하여 긍정 단어의 빈도수를 효율적으로 계산할 때 활용한다.
3. **스팸 필터링:** 스팸 메일 발송자가 필터링을 피하기 위해 의도적으로 변형한 단어들(예: 'free', 'freee', 'freeee')을 정규화하여, 일관된 필터링 규칙을 적용함으로써 탐지 효율성을 높인다.

## 7. 알고리즘 선택 가이드라인
분석 목적에 따라 적절한 기법을 선택해야 한다.

- **속도가 최우선이며, 대략적인 키워드 매칭이 중요한 경우** $\rightarrow$ `Porter Stemmer`
- **매우 공격적인 통합이 필요하며, 데이터셋이 극도로 큰 경우** $\rightarrow$ `Lancaster Stemmer`
- **다국어 지원이 필요하며 균형 잡힌 성능을 원하는 경우** $\rightarrow$ `Snowball Stemmer`
- **문법적 정확성이 중요하고, 결과물이 실제 단어여야 하는 경우** $\rightarrow$ `Lemmatization`
- **한국어 텍스트를 처리하는 경우** $\rightarrow$ `KoNLPy` 등의 형태소 분석기를 통한 어근 추출

## 8. 구현 예제
Python의 `NLTK` 라이브러리를 이용한 영어 어간 정규화와 `KoNLPy`를 이용한 한국어 형태소 분석 예제이다.

```python
# 1. 영어 어간 정규화 (NLTK 라이브러리 활용)
from nltk.stem import PorterStemmer, LancasterStemmer, SnowballStemmer

porter = PorterStemmer()
lancaster = LancasterStemmer()
snowball = SnowballStemmer("english")

words = ["connecting", "connected", "connection", "university", "universe"]

print("--- Porter Stemmer ---")
for w in words:
    print(f"{w} -> {porter.stem(w)}")

print("\n--- Lancaster Stemmer ---")
for w in words:
    print(f"{w} -> {lancaster.stem(w)}")

print("\n--- Snowball Stemmer ---")
for w in words:
    print(f"{w} -> {snowball.stem(w)}")

# 2. 한국어 어근 추출 (KoNLPy - Okt 형태소 분석기 활용)
from konlpy.tag import Okt

okt = Okt()
text = "어간 정규화는 자연어 처리의 기초입니다."
# stem=True 옵션을 통해 어간 추출(정규화) 수행
# 출력 결과 예시: ['어간', '정규화', '는', '자연어', '처리', '의', '기초', '입니다']
print("\n--- Korean Stemming (Okt) ---")
print(okt.morphs(text, stem=True))
```

[[분류:기술]] [[분류:자연어처리]] [[분류:정규화 기법]]

AI 생성 콘텐츠 안내

이 문서는 AI 모델(gemma-4-31b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

위키너와나