# 형식 오류

 개요

**형식 오류Format Error)는 과학 및 데이터 정제 과정에서 자 발생하는 문제 중 하나로, 데이터가 기대되는 구조나 형식을 따르지 않을 때 나타납니다. 이러한 오류는 데이터 수집, 저장, 전송, 변환 과정에서 다양한 원인으로 발생할 수 있으며, 분석의 정확성과 시스템의 안정성에 부정적인 영향을 미칠 수 있습니다. 형식 오류는 단순한 입력 실수에서부터 시스템 간 호환성 문제까지 다양한 범위를 포함하며, 이를 효과적으로 탐지하고 수정하는 것은 데이터 정제의 핵심 과제입니다.

이 문서에서는 형식 오류의 정의, 주요 유형, 발생 원인, 탐지 방법, 정제 전략, 그리고 실제 사례를 중심으로 설명합니다.

---

## 형식 오류의 정의와 중요성

형식 오류는 데이터가 사전에 정의된 **데이터 형식**(Data Type), **구조**(Structure), **패턴**(Pattern)을 따르지 않을 때 발생합니다. 예를 들어, 숫자 필드에 문자열이 입력되거나, 날짜 필드가 `YYYY-MM-DD` 형식이 아닌 `MM/DD/YYYY`로 기록되는 경우가 이에 해당합니다.

데이터 과학 프로젝트에서 원본 데이터는 다양한 출처에서 수집되며, 각 출처마다 데이터 형식의 기준이 다를 수 있습니다. 이러한 불일치는 분석 과정에서 **오류 발생**, **성능 저하**, **의사결정 왜곡** 등을 초래할 수 있으므로, 형식 오류를 사전에 식별하고 정제하는 것이 필수적입니다.

---

## 주요 형식 오류 유형

### 1. 데이터 타입 불일치
- **설명**: 필드에 저장된 값이 지정된 데이터 타입과 맞지 않을 때 발생.
- **예시**:
  - 나이 필드에 `"서른"` (문자열) 대신 `30` (정수)이 기대됨.
  - 가격 필드에 `"$100"` (문자열)이 입력됨.

### 2. 날짜/시간 형식 오류
- **설명**: 일관되지 않은 날짜 형식이나 잘못된 표현 사용.
- **예시**:
  - `2023-12-31`, `12/31/2023`, `31-Dec-2023` 등 다양한 형식 혼용.
  - `2023-02-30`과 같이 존재하지 않는 날짜 입력.

### 3. 숫자 형식 오류
- **설명**: 숫자에 포함되어서는 안 되는 기호나 단위가 섞임.
- **예시**:
  - `1,000.50` → 소수점과 천 단위 구분자 혼동 가능.
  - `100kg` → 단위가 숫자와 함께 포함됨.

### 4. 문자열 패턴 위반
- **설명**: 특정 규칙을 따라야 하는 문자열이 그 패턴을 따르지 않음.
- **예시**:
  - 이메일 주소에 `@` 기호 누락: `userdomain.com`.
  - 전화번호 형식 위반: `01012345678` 대신 `010-123`처럼 불완전하게 기록.

### 5. 인코딩 오류
- **설명**: 문자 인코딩 불일치로 인해 글자가 깨지거나 오류가 발생.
- **예시**:
  - UTF-8로 저장된 파일을 EUC-KR로 해석하면 한글이 `재학`처럼 표시됨.

---

## 형식 오류의 발생 원인

| 원인 | 설명 |
|------|------|
| **사람 기반 입력 오류** | 수작업으로 데이터를 입력할 때 실수 발생 (예: 오타, 형식 누락). |
| **시스템 간 호환성 문제** | 서로 다른 시스템에서 데이터를 교환할 때 형식 기준이 다름. |
| **자동화 도구의 제한** | 크롤링, 스크립트 등 자동화된 수단에서 형식 파싱 실패. |
| **파일 형식 변환 오류** | CSV, JSON, XML 간 변환 시 구조 손실 또는 형식 왜곡. |
| **로컬리제이션 문제** | 지역별 숫자, 날짜 표현 방식 차이 (예: 미국식 vs 한국식 날짜). |

---

## 형식 오류 탐지 방법

### 1. 정규 표현식 (Regular Expressions)
- 특정 패턴을 기반으로 문자열 형식을 검사.
- 예: 이메일 형식 검증 정규식 `^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$`.

### 2. 데이터 스키마 검증
- **JSON Schema**, **Pydantic**, **Great Expectations** 등의 도구를 사용하여 사전 정의된 스키마와 데이터 비교.

### 3. 통계적 탐지
- 이상치 분석을 통해 예상 범위를 벗어난 값 탐지.
- 예: 나이 필드에 `999`가 입력된 경우.

### 4. 파싱 실패 로그 분석
- 데이터를 파싱할 때 발생하는 예외(Exception)를 기록하고 분석.
- 예: `pd.to_datetime()`에서 `ValueError` 발생 시 날짜 형식 오류 의심.

---

## 형식 오류 정제 전략

### 1. 자동 변환
- 가능한 경우 자동으로 올바른 형식으로 변환.
  ```python
  import pandas as pd
  df['price'] = df['price'].str.replace('$', '').astype(float)
  ```

### 2. 수동 검토 및 수정
- 중요하거나 변환하기 어려운 데이터는 수작업으로 검토.

### 3. 결측치 처리
- 복구가 불가능한 경우 해당 값을 `NaN`으로 처리하고 이후 결측치 전략 적용.

### 4. 표준화
- 모든 데이터를 통일된 형식으로 변환 (예: 날짜를 `ISO 8601` 형식으로 통일).

---

## 관련 도구 및 라이브러리

- **Pandas**: `pd.to_numeric()`, `pd.to_datetime()` 등 형식 변환 함수 제공.
- **Great Expectations**: 데이터 형식 검증 및 품질 보고서 생성.
- **OpenRefine**: 대규모 데이터셋의 형식 정제 및 변환 지원.
- **Trifacta**: 시각적 인터페이스를 통한 데이터 정제 자동화.

---

## 참고 자료

- Wickham, H., & Grolemund, G. (2017). *R for Data Science*. O'Reilly Media.  
- Pandas 공식 문서: [https://pandas.pydata.org](https://pandas.pydata.org)  
- Great Expectations 문서: [https://docs.greatexpectations.io](https://docs.greatexpectations.io)  

형식 오류는 데이터 정제의 기초이자 핵심 단계로, 이를 철저히 관리하지 않으면 후속 분석의 신뢰성에 치명적인 영향을 줄 수 있습니다. 지속적인 검증과 자동화된 파이프라인 구축이 효과적인 대응 방안입니다.