# 의사결정 나무

## 개요

**의사결정무**(Decision Tree)는 과학과 기계 학습 분야에서 널리 사용되는 지도 학습 알고리즘 중 하나로, 분류(Classification와 회귀() 문제를 해결하는 데 적합한 모델입니다. 이 알고리즘은의 특성(변수)을 기준으로 계층적으로 분할하여 최종적으로 예측 결과를 도출하는 트리 구조의 모델을 생성합니다. 의사결정 나무는 직관적인 구조와 해석의 용이성 덕분에 실무 및 교육 현장에서 매우 인기가 많습니다.

의사결정 나무는 주어진 데이터셋의 각 관측치를 ‘조건’에 따라 분기하며, 최종적으로 리프 노드(Leaf Node)에서 예측값을 도출합니다. 이 구조는 인간의 의사결정 과정과 유사하여 ‘if-then’ 규칙 기반의 설명이 가능하다는 장점이 있습니다.

---

## 작동 원리

의사결정 나무는 다음과 같은 핵심 단계를 통해 모델을 구성합니다:

### 1. 분할 (Splitting)
모델은 각 노드에서 최적의 조건을 찾아 데이터를 두 개 이상의 하위 집합으로 분할합니다. 이 과정은 정보 이득(Information Gain), 지니 불순도(Gini Impurity), 또는 분산 감소(Variance Reduction)와 같은 기준을 사용하여 결정됩니다.

- **정보 이득**: 엔트로피(Entropy)를 기반으로 하며, 분할 전후의 불확실성 감소를 측정합니다.  
  엔트로피는 다음과 같이 정의됩니다:  
  $$
  H(S) = -\sum_{i=1}^{n} p_i \log_2 p_i
  $$
  여기서 \( p_i \)는 클래스 \( i \)의 확률입니다.

- **지니 불순도**: 주로 CART(Classification and Regression Trees) 알고리즘에서 사용되며, 다음과 같이 계산됩니다:  
  $$
  Gini(S) = 1 - \sum_{i=1}^{n} p_i^2
  $$
  값이 낮을수록 순수도가 높습니다.

### 2. 중지 기준 (Stopping Criteria)
분할은 다음 조건 중 하나가 충족될 때까지 반복됩니다:
- 노드 내 샘플 수가 사전 정의된 최소값 이하일 때
- 모든 샘플이 동일한 클래스에 속할 때
- 최대 깊이에 도달했을 때
- 더 이상의 유의미한 분할이 없을 때

### 3. 가지치기 (Pruning)
과적합(Overfitting)을 방지하기 위해 트리를 생성한 후 불필요한 분기를 제거하는 과정입니다. 가지치기는 사전 가지치기(Pre-pruning)와 사후 가지치기(Post-pruning)로 나뉩니다.

---

## 종류

의사결정 나무는 문제 유형에 따라 두 가지 주요 유형으로 나뉩니다:

### 분류 나무 (Classification Tree)
목표 변수가 범주형일 때 사용됩니다. 예: 스팸 메일 여부 판단, 질병 진단 등.

### 회귀 나무 (Regression Tree)
목표 변수가 연속형일 때 사용됩니다. 예: 주택 가격 예측, 매출 예측 등.

---

## 장점과 단점

### 장점
- **해석 용이성**: 모델의 구조가 시각적으로 표현 가능하며, ‘왜 이 예측이 나왔는가’를 쉽게 설명할 수 있습니다.
- **비모수적**: 데이터의 분포를 가정하지 않아 다양한 유형의 데이터에 적용 가능합니다.
- **결측치와 이상치에 비교적 강함**: 전처리가 덜 필요할 수 있습니다.
- **비선형 관계 포착 가능**: 변수 간 복잡한 상호작용을 자연스럽게 모델링합니다.

### 단점
- **과적합 가능성**: 깊이가 깊어지면 훈련 데이터에 과도하게 적합될 수 있습니다.
- **불안정성**: 데이터의 작은 변화가 트리 구조에 큰 영향을 줄 수 있습니다.
- **편향**: 이득이 큰 변수에 의해 지나치게 영향을 받을 수 있습니다.

---

## 활용 사례

의사결정 나무는 다음과 같은 분야에서 널리 사용됩니다:
- **금융**: 신용 점수 평가, 대출 승인 여부 판단
- **의료**: 질병 진단 보조 시스템
- **마케팅**: 고객 세분화 및 반응 예측
- **제조**: 품질 관리 및 결함 탐지

---

## 관련 알고리즘

의사결정 나무의 단점을 보완하기 위해 개발된 앙상블 기법들이 있습니다:
- **랜덤 포레스트 (Random Forest)**: 여러 의사결정 나무를 결합하여 성능과 안정성 향상
- **그래디언트 부스팅 (Gradient Boosting)**: 순차적으로 트리를 학습시켜 오차를 줄임
- **XGBoost, LightGBM**: 고성능 부스팅 알고리즘으로, 의사결정 나무를 기반으로 함

---

## 참고 자료

- Breiman, L., Friedman, J., Stone, C. J., & Olshen, R. A. (1984). *Classification and Regression Trees*. Wadsworth.
- Hastie, T., Tibshirani, R., & Friedman, J. (209). *The Elements of Statistical Learning*. Springer.
- scikit-learn 공식 문서: [https://scikit-learn.org/stable/modules/tree.html](https://scikit-learn.org/stable/modules/tree.html)

> **관련 문서**: [랜덤 포레스트](링크), [엔트로피 (정보 이론)](링크), [지니 계수](링크)