# 데이터 정제

##요

데이터 정제(Data Cleaning는 데이터 과학 프로세스의 핵 단계 중 하나로,된 원시 데이터 data)에서 오류 중복, 불일치, 결측치, 이상치 등을 식별하고 수정하거나 제거하여 분석에 적합한 고품질의 데이터셋을 만드는 과정을 말합니다. 데이터 정제는 데이터 분석, 기계 학습, 비즈니스 인텔리전스 등의 후속 작업의 정확성과 신뢰성을 결정짓는 중요한 기반 단계입니다.

현실 세계의 데이터는 다양한 출처와 형식으로 수집되기 때문에, 누락된 값, 형식 오류, 중복 입력, 오타, 비논리적인 수치(예: 나이가 -5세) 등 다양한 문제가 포함되어 있습니다. 이러한 문제들이 제거되지 않으면 분석 결과에 심각한 편향이나 오류를 초래할 수 있습니다. 따라서 데이터 정제는 "데이터 과학의 80%는 데이터 정제다"라는 말이 있을 정도로 시간과 노력을 많이 요구하는 작업입니다.

---

## 데이터 정제의 주요 목적

데이터 정제의 궁극적인 목적은 **정확하고 일관적이며 분석 가능한 데이터**를 확보하는 것입니다. 구체적인 목표는 다음과 같습니다:

- **데이터 정확성 향상**: 잘못된 정보를 수정하거나 제거하여 신뢰도를 높임.
- **결측치 처리**: 누락된 값에 대해 적절한 대체 또는 제거 전략을 적용.
- **형식 일관성 확보**: 날짜, 통화, 단위 등 데이터 형식을 통일.
- **중복 데이터 제거**: 중복된 레코드를 식별하고 제거.
- **이상치 탐지 및 처리**: 비정상적인 값이 데이터에 미치는 영향을 최소화.
- **데이터 통합**: 여러 출처의 데이터를 결합할 때 발생하는 불일치 해결.

---

## 데이터 정제의 주요 단계

데이터 정제는 체계적인 절차를 따라 수행됩니다. 일반적으로 다음과 같은 단계로 나뉩니다.

### 1. 데이터 탐색 (Data Exploration)

정제를 시작하기 전에 데이터의 구조, 분포, 특성 등을 파악하는 단계입니다. 주로 다음과 같은 작업을 수행합니다:

- 데이터의 기본 통계량 확인 (평균, 표준편차, 최소/최대값 등)
- 결측치 분포 분석
- 데이터 유형 및 형식 검토
- 시각화를 통한 이상치 탐지 (히스토그램, 박스플롯 등)

### 2. 결측치 처리 (Handling Missing Values)

결측치는 데이터 정제에서 가장 흔한 문제 중 하나입니다. 처리 방법은 다음과 같습니다:

- **제거 (Deletion)**: 결측치가 많은 행이나 열을 삭제 (예: `dropna()`).
- **대체 (Imputation)**: 평균, 중앙값, 최빈값, 또는 머신러닝 모델을 활용해 값을 대체.
- **예측 기반 대체**: 회귀 모델, KNN, 또는 다중 대체(Multiple Imputation) 사용.

> 예: 연봉 데이터에서 누락된 값이 있을 경우, 같은 직군의 평균 연봉으로 대체할 수 있음.

### 3. 중복 데이터 제거

동일한 정보가 여러 번 기록된 경우 분석 결과에 왜곡을 초래할 수 있습니다.

- `pandas`의 `drop_duplicates()` 함수를 사용해 중복 레코드 제거.
- 키(Key) 필드(예: 사용자 ID, 주문 번호) 기준으로 중복 여부 판단.

### 4. 데이터 형식 통일

다양한 형식의 데이터를 일관된 형식으로 변환합니다.

- 날짜 형식 통일 (예: "2023-01-01", "01/01/2023" → `YYYY-MM-DD`)
- 문자열 정리 (대소문자 통일, 공백 제거, 특수문자 처리)
- 수치형 데이터의 단위 통일 (예: kg과 lb → 모두 kg으로 변환)

### 5. 이상치 탐지 및 처리

이상치는 통계적 방법이나 머신러닝 기법을 통해 탐지할 수 있습니다.

- **Z-score**: 평균에서 표준편차의 몇 배 이상 떨어졌는지 평가.
- **IQR (Interquartile Range)**: 사분위수를 기반으로 이상치 정의.
- **시각화**: 박스플롯, 산점도 등을 활용.

이상치는 분석 목적에 따라 유지되거나 제거/대체됩니다.

### 6. 데이터 유효성 검사

비즈니스 로직에 맞는지 검증합니다.

- 예: 나이가 150세 이상인 경우 → 오류
- 성별 필드에 "남", "여", "M", "F", "남성" 등 다양한 표현 → 통일

---

## 데이터 정제 도구 및 기술

다양한 프로그래밍 언어와 도구를 활용하여 데이터 정제를 자동화할 수 있습니다.

### 주요 도구

| 도구 | 특징 |
|------|------|
| **Python (pandas, NumPy)** | 강력한 데이터 조작 기능, 대중적인 라이브러리 |
| **R (dplyr, tidyr)** | 통계 분석에 최적화, 정제 기능 우수 |
| **OpenRefine** | GUI 기반, 비기술자도 사용 가능 |
| **SQL** | 데이터베이스 내에서 정제 가능 (UPDATE, CASE 문 등 활용) |
| **Trifacta, Alteryx** | 기업용 데이터 정제 플랫폼, 자동 추천 기능 제공 |

### 코드 예시 (Python - pandas)

```python
import pandas as pd
import numpy as np

# 데이터 로드
df = pd.read_csv('raw_data.csv')

# 결측치 확인
print(df.isnull().sum())

# 결측치 제거 또는 대체
df['age'].fillna(df['age'].mean(), inplace=True)
df.dropna(subset=['name'], inplace=True)

# 중복 제거
df.drop_duplicates(inplace=True)

# 날짜 형식 통일
df['date'] = pd.to_datetime(df['date'], errors='coerce')

# 이상치 처리 (IQR 기준)
Q1 = df['salary'].quantile(0.25)
Q3 = df['salary'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
df = df[(df['salary'] >= lower_bound) & (df['salary'] <= upper_bound)]

# 정제된 데이터 저장
df.to_csv('cleaned_data.csv', index=False)
```

---

## 데이터 정제의 도전 과제

- **대규모 데이터 처리**: 데이터 양이 많을수록 정제 시간이 급증.
- **자동화의 한계**: 일부 오류는 문맥을 이해해야만 수정 가능 (예: "서울시" vs "서울 시").
- **도메인 지식 필요**: 의료, 금융 등 특정 분야의 데이터는 전문 지식이 요구됨.
- **정제 기준의 주관성**: 어떤 값을 이상치로 볼 것인지, 어떻게 대체할 것인지 결정이 어려움.

---

## 참고 자료 및 관련 문서

- [Python pandas 공식 문서](https://pandas.pydata.org/)
- Wickham, H., & Grolemund, G. (2017). *R for Data Science*. O'Reilly Media.
- IBM Knowledge Center - Data Cleaning Best Practices
- Kaggle 데이터 정제 튜토리얼 (https://www.kaggle.com/learn/data-cleaning)

데이터 정제는 단순한 오류 제거를 넘어, 데이터의 의미와 품질을 이해하는 **데이터 과학자의 핵심 역량**입니다. 철저한 정제를 통해 얻은 데이터는 더 나은 인사이트와 의사결정을 가능하게 합니다.