# 이상치 탐지

## 개요

**이상치지**(Outlier Detection)는 데이터학 및 통계 분석에서 중요한 역할을 하는 기법으로, 데이터 세트 내 다른 관측치와显著하게 다른 값을 가지는 데이터 포인트를 식별하는 과정을 의미한다. 이러한 데이터 포인트는 일반적인 패턴이나 분포에서 벗어나며, 때로는 측정 오류, 데이터 입력 실수, 혹은 진정한 특이 현상일 수 있다. 이상치 탐지는 데이터 품질 향상, 이상 행위 감지, 사기 탐지, 고장 예측, 의료 진단 등 다양한 분야에서 핵심적인 역할을 수행한다.

이상치는 종종 분석 결과의 정확성에 부정적인 영향을 줄 수 있으므로, 분석 전에 이를 식별하고 적절히 처리하는 것이 중요하다. 그러나 모든 이상치가 '나쁜 데이터'인 것은 아니며, 때로는 중요한 인사이트를 제공하는 핵심 정보일 수도 있다.

---

## 이상치의 정의와 유형

### 정의

이상치는 통계적 또는 기계학습적 관점에서 **데이터 분포의 일반적인 경향에서 크게 벗어난 관측치**로 정의된다. 예를 들어, 평균 100, 표준편차 10인 정규분포를 따르는 데이터에서 250의 값을 가지는 데이터는 이상치로 간주될 수 있다.

### 이상치의 유형

이상치는 발생 양상에 따라 다음과 같이 세 가지로 분류할 수 있다:

1. **점 이상치**(Point Outlier)  
   개별 데이터 포인트가 전체 데이터 분포와 비교해 비정상적으로 떨어져 있는 경우.  
   예: 월 평균 기온이 25°C인 도시에서 하루 동안 60°C 기록.

2. **맥락적 이상치**(Contextual Outlier)  
   특정 맥락(시간, 위치 등)에서만 이상치로 간주되는 데이터.  
   예: 겨울철에 30°C 기온은 이상치지만, 여름철에는 정상.

3. **집단 이상치**(Collective Outlier)  
   개별적으로는 정상이지만, 특정 그룹으로 묶였을 때 전체 패턴에서 벗어나는 경우.  
   예: 특정 시간대에 동시에 여러 계좌에서 대량 인출 발생 — 각각은 정상일 수 있으나 집단적으로 사기로 의심됨.

---

## 이상치 탐지 기법

이상치 탐지 방법은 데이터의 특성과 사용 목적에 따라 다양한 방식으로 나뉜다.

### 1. 통계 기반 방법

#### Z-점수 (Z-Score)
정규분포를 가정하고, 각 데이터 포인트가 평균에서 표준편차의 몇 배 떨어져 있는지를 계산한다. 일반적으로 |Z| > 3인 경우 이상치로 간주.

```python
z_scores = (data - mean) / std
outliers = data[abs(z_scores) > 3]
```

#### IQR (Interquartile Range)
사분위수 범위를 활용하여 이상치를 탐지. Q1(25%), Q3(75%) 사이의 IQR = Q3 - Q1이며,  
이상치는 Q1 - 1.5×IQR 또는 Q3 + 1.5×IQR 범위를 벗어난 값으로 정의.

### 2. 기계학습 기반 방법

#### Isolation Forest
이상치는 일반 데이터보다 분리하기 쉬운 특성을 이용. 이진 트리 기반 알고리즘으로, 이상치는 트리에서 빠르게 분리됨.

#### Local Outlier Factor (LOF)
데이터 포인트의 지역 밀도를 기준으로 이상치를 평가. 주변 데이터와 밀도 차이가 클수록 이상치로 간주.

#### One-Class SVM
정상 데이터만을 학습하여 경계를 설정하고, 그 경계 밖의 데이터를 이상치로 판단. 주로 비정상 데이터가 드문 경우에 사용.

### 3. 시계열 데이터용 방법

- **STL 분해**(Seasonal and Trend decomposition using Loess): 추세와 계절성을 분리하고 나머지(residual)에서 이상치 탐지.
- **이동 평균 기반 잔차 분석**: 이동 평균과 실제값의 차이가 큰 경우 이상치로 간주.

---

## 적용 분야

| 분야 | 적용 사례 |
|------|----------|
| 금융 | 신용카드 사기 탐지, 이상 거래 감지 |
| 제조 | 설비 고장 예측, 품질 검사에서의 비정상 제품 식별 |
| 보안 | 네트워크 침입 탐지, 비정상 로그인 시도 |
| 의료 | 환자 생체 신호 이상 감지, 질병 조기 경고 |
| 소매 | 비정상적인 판매량 변동, 재고 이상 |

---

## 주의사항 및 한계

- **정의의 주관성**: "이상치"는 분석 목적에 따라 달라질 수 있음.
- **데이터 분포 가정**: Z-점수는 정규분포를 가정하므로, 왜곡된 데이터에 부적합할 수 있음.
- **고차원 데이터의 한계**: 차원이 많아질수록 거리 기반 방법의 성능이 저하됨 ("차원 저주").
- **탐지 후 조치**: 이상치를 제거할지, 수정할지, 보존할지는 컨텍스트에 따라 결정되어야 함.

---

## 관련 문서 및 참고 자료

- [Scikit-learn: Outlier Detection](https://scikit-learn.org/stable/modules/outlier_detection.html)
- Hawkins, D. M. (1980). *Identification of Outliers*. Chapman and Hall.
- Aggarwal, C. C. (2017). *Outlier Analysis*. Springer.

이상치 탐지는 데이터 과학의 기초이자 핵심 단계로, 신뢰할 수 있는 분석 결과를 도출하기 위해 반드시 고려되어야 한다.