# LightGBM

LightGBM은 마이크로소프트에서 개발한 고성능의 경량 그래디언트 부스팅 프레임워크로, 대규모 데이터셋에서도 빠르고 효율적인 학습을 가능하게 하는 머신러닝 알고리즘입니다. 특히 분류, 회귀, 순위 예측 등 다양한 머신러닝 과제에서 뛰어난 성능을 보이며, XGBoost, CatBoost 등과 함께 대표적인 그래디언트 부스팅 트리(Gradient Boosting Decision Tree, GBDT) 구현체 중 하나로 꼽힙니다. 본 문서에서는 LightGBM의 핵심 원리, 주요 특징, 사용 사례, 그리고 실전 적용 방법에 대해 설명합니다.

## 개요

LightGBM은 기존의 트리 기반 모델이 가지는 계산 복잡성과 메모리 사용량 문제를 해결하기 위해 설계되었습니다. 기존의 GBDT 알고리즘은 데이터의 모든 행을 기준으로 분할(split)을 찾는 **행 기반 분할**(Row-wise Splitting) 방식을 사용하지만, 이는 대규모 데이터에서 속도 저하를 유발합니다. LightGBM은 이를 극복하기 위해 **그리드 기반 분할**(Gradient-based One-Side Sampling, GOSS)과 **리프 기반 트리 성장**(Leaf-wise Tree Growth) 전략을 도입하여 학습 속도를 획기적으로 개선했습니다.

또한, LightGBM은 C++로 구현되어 있으며 Python, R, Java, Scala 등 다양한 언어와의 연동을 지원합니다. 특히, 대용량 데이터 처리에 최적화되어 있어 기업 및 연구소에서 널리 사용되고 있습니다.

---

## 핵심 기술 및 특징

### 1. Gradient-based One-Side Sampling (GOSS)

GOSS는 데이터 샘플링 기법으로, **기울기**(gradient)가 큰 데이터는 유지하고, 기울기가 작은 데이터는 일부 제거하여 학습 속도를 향상시키는 방법입니다. 일반적으로 기울기가 큰 샘플은 모델 학습에 더 중요한 정보를 제공하므로, 이를 우선적으로 유지함으로써 정확도를 유지하면서도 계산량을 줄일 수 있습니다.

예를 들어, 손실 함수의 기울기가 큰 샘플은 예측 오차가 크므로, 이를 기반으로 트리를 성장시키는 것이 더 효과적입니다. GOSS는 이러한 원리를 활용하여 효율적인 학습을 가능하게 합니다.

### 2. Leaf-wise Tree Growth

기존의 그래디언트 부스팅 트리는 **레벨 기반**(Level-wise)으로 트리를 확장합니다. 즉, 한 단계에서 모든 노드를 동시에 분할합니다. 반면, LightGBM은 **리프 기반**(Leaf-wise) 전략을 사용하여 현재까지의 트리에서 **가장 이득이 큰 리프 노드만을 선택하여 분할**합니다.

이 방식은 트리 깊이를 더 깊게 만들 수 있어 예측 정확도가 향상되지만, 과적합(overfitting)의 위험이 있으므로 `max_depth`나 `num_leaves` 같은 하이퍼파라미터로 제어해야 합니다.

### 3. 범주형 변수 자동 처리

LightGBM은 범주형 변수(categorical feature)를 별도의 전처리 없이도 효율적으로 처리할 수 있습니다. 내부적으로 **최적의 분할을 찾기 위한 알고리즘**(e.g., 카이제곱 기반 그룹화)을 사용하여 범주형 변수의 조합을 고려하며, 사용자가 `categorical_feature` 파라미터를 통해 해당 변수를 지정하면 자동으로 처리합니다. 이는 원-핫 인코딩(one-hot encoding)을 사용할 때 발생하는 차원 증가 문제를 피할 수 있어 매우 유용합니다.

---

## 주요 장점

- **고속 학습**: GOSS와 Leaf-wise 전략으로 인해 학습 속도가 매우 빠릅니다.
- **낮은 메모리 사용량**: 데이터를 압축하여 저장하고, 불필요한 계산을 줄여 메모리 효율이 뛰어납니다.
- **대규모 데이터 처리 가능**: 수백만에서 수십억 개의 샘플도 처리 가능합니다.
- **다양한 과제 지원**: 이진 분류, 다중 분류, 회귀, 랭킹, 사용자 정의 손실 함수까지 지원합니다.
- **병렬 및 분산 학습 지원**: CPU 기반의 다중 코어 병렬 처리와 GPU 가속, 분산 클러스터 환경에서도 동작합니다.

---

## 설치 및 기본 사용법 (Python 예시)

LightGBM은 Python 패키지 매니저를 통해 쉽게 설치할 수 있습니다.

```bash
pip install lightgbm
```

간단한 분류 예제:

```python
import lightgbm as lgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 데이터 로드
data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

# LightGBM 데이터셋 생성
train_data = lgb.Dataset(X_train, label=y_train)
test_data = lgb.Dataset(X_test, label=y_test, reference=train_data)

# 하이퍼파라미터 설정
params = {
    'objective': 'binary',
    'metric': 'binary_logloss',
    'boosting_type': 'gbdt',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'verbose': -1
}

# 모델 학습
model = lgb.train(params, train_data, valid_sets=[test_data], num_boost_round=100)

# 예측 및 평가
preds = model.predict(X_test)
pred_labels = (preds > 0.5).astype(int)
print("정확도:", accuracy_score(y_test, pred_labels))
```

---

## 하이퍼파라미터 튜닝

LightGBM의 성능은 하이퍼파라미터 설정에 크게 영향을 받습니다. 주요 파라미터는 다음과 같습니다:

| 파라미터 | 설명 |
|--------|------|
| `num_leaves` | 리프 노드의 최대 수. 과적합 방지를 위해 `num_leaves < 2^(max_depth)` 권장 |
| `max_depth` | 트리의 최대 깊이 |
| `learning_rate` | 학습률. 작을수록 정확도는 높아지지만 학습 시간 증가 |
| `n_estimators` | 트리의 개수 (반복 횟수) |
| `feature_fraction` | 각 트리에서 사용할 특성의 비율 (과적합 방지) |
| `bagging_fraction` | 샘플링 비율 (행 기반 샘플링) |
| `lambda_l1`, `lambda_l2` | L1, L2 정규화 계수 |

튜닝에는 `optuna`, `hyperopt`, `scikit-learn`의 `GridSearchCV` 등을 활용할 수 있습니다.

---

## 관련 기술 및 비교

| 기술 | 장점 | 단점 |
|------|------|------|
| **XGBoost** | 높은 정확도, 안정성 | 학습 속도 느림, 메모리 사용량 큼 |
| **CatBoost** | 범주형 변수 처리 우수, GPU 지원 | LightGBM보다 느림 |
| **LightGBM** | 매우 빠름, 메모리 효율적 | 리프 기반 전략으로 과적합 가능성 있음 |

---

## 참고 자료

- [공식 GitHub 저장소](https://github.com/microsoft/LightGBM)
- [LightGBM 문서 (공식)](https://lightgbm.readthedocs.io/)
- Ke, G., Meng, Q., Finley, T., et al. (2017). "LightGBM: A Highly Efficient Gradient Boosting Decision Tree". *Advances in Neural Information Processing Systems (NeurIPS)*.

---

## 결론

LightGBM은 대용량 데이터 환경에서 뛰어난 성능과 효율성을 제공하는 그래디언트 부스팅 프레임워크입니다. GOSS와 Leaf-wise 전략을 통해 기존 알고리즘의 한계를 극복했으며, 다양한 산업 분야에서 실전 문제 해결에 널리 활용되고 있습니다. 적절한 하이퍼파라미터 튜닝과 전처리를 통해 정확도와 속도 모두를 극대화할 수 있으므로, 머신러닝 실무자에게 필수 도구로 자리 잡고 있습니다.