# 데이터 변환 (Data Transformation)

## 1. 개요
**데이터 변환(Data Transformation)**이란 수집된 원시 데이터(Raw Data)를 분석, 모델링 또는 저장 목적에 적합한 형식이나 구조로 변경하는 과정을 의미합니다. 데이터 과학의 전처리(Preprocessing) 단계에서 핵심적인 역할을 하며, 데이터의 품질을 높이고 머신러닝 알고리즘의 성능을 최적화하는 데 필수적인 절차입니다.

현실 세계의 데이터는 결측치, 이상치, 서로 다른 단위, 비선형적 분포 등 분석에 부적합한 형태로 존재하는 경우가 많습니다. 데이터 변환은 이러한 불일치를 해결하여 데이터의 일관성을 확보하고, 통계적 가정을 충족시키며, 모델의 학습 속도와 정확도를 향상시키는 것을 목표로 합니다.

---

## 2. 주요 데이터 변환 기법

데이터 변환은 목적에 따라 크게 **스케일링(Scaling)**, **인코딩(Encoding)**, **함수 변환(Functional Transformation)**으로 나눌 수 있습니다.

### 2.1 데이터 스케일링 (Data Scaling)
서로 다른 변수들이 가진 값의 범위(Scale)를 일정하게 맞추는 작업입니다. 변수 간의 단위 차이가 클 경우, 특정 변수가 모델의 결과에 과도한 영향을 주는 것을 방지합니다.

| 기법 | 설명 | 수식/특징 | 비고 |
| :--- | :--- | :--- | :--- |
| **Min-Max Scaling** | 데이터를 0과 1 사이의 값으로 변환 | $\frac{x - min}{max - min}$ | 이상치에 매우 민감함 |
| **Standardization** | 평균을 0, 표준편차를 1로 변환 (표준화) | $\frac{x - \mu}{\sigma}$ | 가우시안 분포를 따를 때 유리 |
| **Robust Scaling** | 중앙값과 사분위수를 사용하여 변환 | $\frac{x - Q2}{Q3 - Q1}$ | 이상치의 영향이 적음 |

### 2.2 데이터 인코딩 (Data Encoding)
컴퓨터와 머신러닝 알고리즘은 숫자 데이터만 처리할 수 있으므로, 범주형(Categorical) 데이터를 수치형으로 변환하는 과정이 필요합니다.

*   **레이블 인코딩 (Label Encoding):** 각 범주를 고유한 정수로 변환합니다. (예: 빨강 $\rightarrow$ 0, 파랑 $\rightarrow$ 1, 초록 $\rightarrow$ 2)
    *   *주의:* 모델이 숫자의 크기 관계(0 < 1 < 2)를 순서적 의미로 오해할 위험이 있습니다.
*   **원-핫 인코딩 (One-Hot Encoding):** 각 범주를 새로운 이진 열(Binary Column)로 확장합니다.
    *   *특징:* 범주 간의 독립성을 보장하지만, 범주 개수가 많을 경우 차원이 급격히 증가하는 '차원의 저주' 문제가 발생할 수 있습니다.

### 2.3 함수 변환 (Functional Transformation)
데이터의 분포가 왜곡되어 있거나(Skewed), 비선형 관계를 가질 때 이를 선형적으로 바꾸기 위해 사용합니다.

*   **로그 변환 (Log Transformation):** $\log(x)$를 취하여 오른쪽으로 꼬리가 긴 분포(Right-skewed)를 정규분포에 가깝게 만듭니다. 주로 소득, 인구수 등 값의 범위가 매우 넓은 데이터에 사용합니다.
*   **제곱근 변환 (Square Root Transformation):** $\sqrt{x}$를 취하며, 로그 변환보다 완만한 변환이 필요할 때 사용합니다.
*   **Box-Cox 변환:** 데이터의 분포를 정규분포로 만들기 위해 최적의 람다($\lambda$) 값을 찾아 변환하는 일반화된 방법입니다.

---

## 3. 데이터 변환의 프로세스

일반적으로 데이터 변환은 다음과 같은 파이프라인을 통해 수행됩니다.

1.  **데이터 탐색 (EDA):** 히스토그램, 박스 플롯 등을 통해 데이터의 분포와 이상치 존재 여부를 확인합니다.
2.  **변환 방법 결정:** 데이터의 특성(수치형 vs 범주형)과 사용할 알고리즘(거리 기반 vs 트리 기반)에 따라 적절한 변환 기법을 선택합니다.
3.  **변환 적용:** 학습 데이터(Train set)를 기준으로 변환 파라미터(평균, 표준편차 등)를 계산하고, 이를 테스트 데이터(Test set)에도 동일하게 적용합니다.
4.  **결과 검증:** 변환 후 데이터의 분포가 개선되었는지, 모델의 성능이 향상되었는지 확인합니다.

---

## 4. 기술적 구현 예시 (Python)

데이터 과학에서 가장 널리 쓰이는 `scikit-learn` 라이브러리를 활용한 변환 예시입니다.

```python
from sklearn.preprocessing import StandardScaler, OneHotEncoder
import pandas as pd

# 샘플 데이터 생성
data = {'City': ['Seoul', 'Busan', 'Incheon'], 'Age': [25, 45, 30]}
df = pd.DataFrame(data)

# 1. 원-핫 인코딩 적용
encoder = OneHotEncoder(sparse_output=False)
encoded_city = encoder.fit_transform(df[['City']])
encoded_df = pd.DataFrame(encoded_city, columns=encoder.get_feature_names_out(['City']))

# 2. 표준화(Standardization) 적용
scaler = StandardScaler()
df['Age_scaled'] = scaler.fit_transform(df[['Age']])

# 결과 합치기
final_df = pd.concat([df, encoded_df], axis=1)
print(final_df)
```

---

## 5. 관련 문서 및 참고 자료
*   **데이터 전처리 (Data Preprocessing):** 데이터 변환을 포함하는 더 넓은 개념의 데이터 정제 과정.
*   **특성 공학 (Feature Engineering):** 변환된 데이터를 바탕으로 모델 성능을 높이기 위해 새로운 변수를 생성하는 과정.
*   **차원의 저주 (Curse of Dimensionality):** 원-핫 인코딩 등으로 인해 변수가 너무 많아질 때 발생하는 성능 저하 현상.