# 텍스트 정제

## 개요

**텍스트 정제**(Text Cleaning)는 자연어 처리(NLP, Natural Language Processing) 및 데이터 과학 분야에서 원시 텍스트 데이터를 분석 가능한 형태로 변환하기 위한 전처리 과정의 핵심 단계이다. 실제 환경에서 수집되는 텍스트 데이터는 오타, 불필요한 기호, HTML 태그, 이모지, 대소문자 혼용, 중복 정보 등 다양한 형태의 노이즈를 포함하고 있으며, 이러한 노이즈는 분석 정확도를 떨어뜨리거나 모델 학습을 방해할 수 있다. 텍스트 정제는 이러한 문제를 해결하여 데이터의 일관성과 품질을 높이며, 후속 분석(예: 감성 분석, 주제 모델링, 기계번역 등)의 신뢰성을 보장한다.

이 문서에서는 텍스트 정제의 주요 목적, 일반적인 절차, 기술적 방법, 그리고 실무에서의 적용 사례를 다룬다.

---

## 텍스트 정제의 목적

텍스트 정제의 핵심 목적은 다음과 같다:

- **데이터 일관성 확보**: 다양한 출처에서 수집된 텍스트를 통일된 형식으로 정리한다.
- **노이즈 제거**: 분석에 방해가 되는 요소(예: 특수문자, 공백, 광고 문구)를 제거한다.
- **모델 성능 향상**: 깨끗한 입력 데이터는 머신러닝 및 딥러닝 모델의 정확도를 높인다.
- **처리 효율성 증가**: 불필요한 데이터를 제거함으로써 처리 속도를 개선한다.

---

## 주요 정제 절차

### 1. 소문자 변환 (Lowercasing)

대소문자가 의미 있는 차이를 만들지 않는 경우(예: 영어 기반 분석), 모든 텍스트를 소문자로 통일한다.

```python
text = "Hello World!"
cleaned_text = text.lower()  # "hello world!"
```

> **주의**: 특정 도메인(예: 약물명, 고유명사)에서는 대소문자가 의미를 담을 수 있으므로, 상황에 따라 적용 여부를 판단해야 한다.

---

### 2. 특수문자 및 기호 제거

구두점, 괄호, 이모지 등 분석에 불필요한 기호를 제거한다. 정규 표현식(Regular Expression)을 활용하는 것이 일반적이다.

```python
import re
text = "Hello! How are you? 😊"
cleaned_text = re.sub(r'[^a-zA-Z0-9\s]', '', text)  # "Hello How are you "
```

---

### 3. 공백 정리 (Whitespace Normalization)

여러 개의 공백, 탭, 줄바꿈 문자를 단일 공백으로 축소하고, 문자열 양 끝의 공백을 제거한다.

```python
text = "   This   is  messy.   "
cleaned_text = ' '.join(text.split())  # "This is messy."
```

---

### 4. HTML/Markup 태그 제거

웹 크롤링을 통해 수집한 데이터는 HTML 태그를 포함할 수 있으므로, 이를 제거해야 한다.

```python
from bs4 import BeautifulSoup
html_text = "<p>Hello <b>world</b>!</p>"
soup = BeautifulSoup(html_text, 'html.parser')
cleaned_text = soup.get_text()  # "Hello world!"
```

---

### 5. 불용어 제거 (Stopword Removal)

의미 없는 일반 단어(예: "the", "is", "and", "또는", "그리고")를 제거하여 핵심 정보를 강조한다. 영어와 한국어 모두 불용어 목록이 존재한다.

```python
from nltk.corpus import stopwords
stop_words = set(stopwords.words('english'))
tokens = ['this', 'is', 'a', 'sample']
filtered = [word for word in tokens if word not in stop_words]  # ['sample']
```

> **참고**: 한국어의 경우 형태소 분석 후 불용어 처리를 수행한다.

---

### 6. 어간 추출 및 표제어 추출 (Stemming & Lemmatization)

- **Stemming**: 단어의 어간만을 남기는 간단한 절차 (예: "running" → "run").
- **Lemmatization**: 문법적으로 올바른 원형 단어를 추출 (예: "better" → "good").

Lemmatization이 더 정확하지만 계산 비용이 높다.

---

### 7. 오타 및 맞춤법 교정

자동 교정 도구(예: `py-hanspell`, `Google Cloud Natural Language API`)를 사용하여 오타를 수정할 수 있다. 특히 사용자 생성 콘텐츠(UGC)에서 중요하다.

---

## 한국어 텍스트 정제의 특수성

한국어는 형태소 단위로 의미가 결정되므로, 단순한 단어 분리보다 **형태소 분석**(예: KoNLPy, mecab-ko)이 필수적이다. 주요 절차는 다음과 같다:

1. **형태소 분석**: 명사, 동사, 형용사 등 품사 기반으로 분리.
2. **불용어 필터링**: 조사, 접속사 등 제거.
3. **정규화**: "ㅋㅋㅋ", "ㅠㅠ"와 같은 인터넷 용어를 "하하", "슬프다" 등으로 변환.

```python
from konlpy.tag import Okt
okt = Okt()
text = "이 영화 진짜 짱이에요 ㅋㅋ"
tokens = okt.pos(text)  # [('이', 'Determiner'), ('영화', 'Noun'), ...]
nouns = [word for word, pos in tokens if pos == 'Noun']  # ['영화']
```

---

## 관련 도구 및 라이브러리

| 도구/라이브러리 | 언어 | 주요 기능 |
|------------------|------|----------|
| `NLTK`, `spaCy` | Python | 영어 텍스트 정제, 품사 태깅 |
| `KoNLPy` | Python | 한국어 형태소 분석 |
| `BeautifulSoup` | Python | HTML 파싱 및 태그 제거 |
| `re` (정규표현식) | 다수 | 패턴 기반 문자열 처리 |

---

## 참고 자료

- Bird, S., Klein, E., & Loper, E. (2009). *Natural Language Processing with Python*. O'Reilly Media.
- 한국어 정보처리 학회 (Korean Society for Language and Information)
- [spaCy 공식 문서](https://spacy.io/)
- [KoNLPy GitHub 저장소](https://github.com/konlpy/konlpy)

---

## 관련 문서

- [자연어 처리](자연어_처리.md)
- [데이터 전처리](데이터_전처리.md)
- [형태소 분석](형태소_분석.md)
- [정규 표현식](정규표현식.md)

텍스트 정제는 단순한 기술적 절차를 넘어서, 데이터 과학 프로젝트의 성패를 좌우하는 기반 작업이다. 철저한 정제를 통해 신뢰할 수 있는 인사이트를 도출할 수 있다.