# 하이퍼파라미터적화

## 개요

하이퍼파라미터 최적화(Hyperparameter Optimization)는 머신러닝 모델의 성능을 극대화하기 위해 모델 학습 전에 설정해야 하는 **하이퍼파라미터**(Hyperparameter)의 최적 값을 탐색하는 과정입니다. 하이퍼파라미터는 모델의 구조나 학습 방식을 결정하는 중요한 설정값으로, 예를 들어 학습률(Learning Rate), 배치 크기(Batch Size), 에포크 수(Epochs), 정규화 강도(Regularization Strength), 신경망의 층 수 및 뉴런 수 등이 있습니다. 이들은 모델이 데이터로부터 직접 학습하지 않으며, 사용자가 사전에 지정해야 합니다.

모델의 성능은 하이퍼파라미터의 선택에 매우 민감하게 반응하므로, 적절한 최적화는 모델의 정확도, 수렴 속도, 일반화 능력 향상에 결정적인 역할을 합니다. 본 문서에서는 하이퍼파라미터 최적화의 주요 개념, 대표적인 최적화 기법, 그리고 실무에서의 적용 사례를 다룹니다.

---

## 하이퍼파라미터란?

하이퍼파라미터는 머신러닝 알고리즘의 동작 방식을 제어하는 **외부 파라미터**를 의미합니다. 이는 데이터 학습 과정에서 업데이트되는 **모델 파라미터**(예: 가중치, 편향)와 구별됩니다.

### 주요 하이퍼파라미터 예시

| 하이퍼파라미터 | 설명 |
|----------------|------|
| **학습률 (Learning Rate)** | 경사하강법에서 가중치를 얼마나 크게 업데이트할지를 결정. 너무 크면 발산, 너무 작으면 수렴이 느림. |
| **배치 크기 (Batch Size)** | 한 번의 학습 단계에서 처리할 샘플 수. 메모리 사용량과 수렴 안정성에 영향. |
| **에포크 수 (Epochs)** | 전체 훈련 데이터를 몇 번 반복 학습할지 결정. 과적합의 위험 존재. |
| **정규화 파라미터 (e.g., L1, L2)** | 모델의 복잡도를 제한하여 과적합을 방지. |
| **신경망 구조** | 층 수, 각 층의 뉴런 수, 활성화 함수 종류 등. |

---

## 하이퍼파라미터 최적화의 필요성

머신러닝 모델은 다양한 하이퍼파라미터 조합에 따라 성능이 크게 달라질 수 있습니다. 예를 들어, 학습률이 너무 높으면 손실 함수가 발산하고, 너무 낮으면 수렴이 지나치게 느려질 수 있습니다. 따라서 무작위로 설정한 하이퍼파라미터는 최적의 성능을 보장하지 않으며, 체계적인 탐색이 필요합니다.

하이퍼파라미터 최적화의 목표는 다음과 같습니다:
- **모델 성능 향상**: 정확도, F1 스코어, AUC 등 평가 지표 개선
- **과적합 방지**: 일반화 능력 강화
- **학습 효율성 증가**: 빠른 수렴과 낮은 계산 비용

---

## 주요 최적화 기법

하이퍼파라미터 최적화에는 다양한 알고리즘이 사용됩니다. 각 기법은 탐색 효율성과 정확도의 트레이드오프를 가집니다.

### 1. 그리드 서치 (Grid Search)

가장 전통적인 방법으로, 사전에 정의한 하이퍼파라미터의 후보 값들에 대해 **모든 조합을 탐색**합니다.

- **장점**: 완전 탐색으로 최적 조합을 놓치지 않음
- **단점**: 조합 수가 기하급수적으로 증가 → 계산 비용 큼
- **적합한 경우**: 하이퍼파라미터 수가 적고, 탐색 공간이 작을 때

```python
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [3, 5, 7]
}
grid_search = GridSearchCV(RandomForestClassifier(), param_grid, cv=5)
grid_search.fit(X_train, y_train)
```

### 2. 랜덤 서치 (Random Search)

그리드 서치와 달리, 후보 값들 중 **무작위로 샘플링**하여 탐색합니다.

- **장점**: 계산 비용이 그리드 서치보다 낮으며, 종종 더 나은 성능을 제공
- **단점**: 최적 조합을 보장하지는 않음
- **적합한 경우**: 탐색 공간이 넓고 일부 하이퍼파라미터가 더 중요한 경우

### 3. 베이지안 최적화 (Bayesian Optimization)

과거 평가 결과를 기반으로 다음에 시도할 하이퍼파라미터를 **확률적으로 추정**하는 방법입니다. 가우시안 프로세스(Gaussian Process)를 주로 사용합니다.

- **장점**: 효율적인 탐색, 적은 평가 횟수로 최적값 도달 가능
- **단점**: 구현 복잡, 고차원 공간에서 성능 저하 가능
- **도구 예시**: `Optuna`, `Hyperopt`, `scikit-optimize`

```python
import optuna

def objective(trial):
    lr = trial.suggest_float('learning_rate', 1e-5, 1e-1, log=True)
    batch_size = trial.suggest_categorical('batch_size', [16, 32, 64, 128])
    # 모델 학습 및 검증
    return validation_score

study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=100)
```

### 4. 진화 알고리즘 (Evolutionary Algorithms)

자연 선택 원리를 모방하여, 하이퍼파라미터 조합을 "개체"로 간주하고 세대를 거쳐 진화시킵니다.

- **장점**: 비선형, 비볼록 공간에서도 탐색 가능
- **단점**: 계산 비용이 높고, 설정이 복잡

### 5. 그래디언트 기반 최적화 (Gradient-based Optimization)

일부 하이퍼파라미터(예: 정규화 계수)에 대해 손실 함수의 그래디언트를 계산하여 최적화하는 방법. 주로 신경망에서 사용.

- **제한**: 연속적인 하이퍼파라미터에만 적용 가능

---

## 최적화 전략 및 팁

1. **탐색 공간 설정**: 지나치게 넓은 범위는 비효율적이므로, 경험 또는 선행 연구를 기반으로 좁히는 것이 중요합니다.
2. **교차 검증 사용**: 과적합을 방지하고 일반화 성능을 평가하기 위해 반드시 교차 검증을 활용해야 합니다.
3. **Early Stopping**: 성능 향상이 없는 경우 탐색을 조기에 중단하여 시간 절약.
4. **병렬 처리**: 많은 조합을 평가할 때는 병렬 실행이 필수적입니다. Optuna, Ray Tune 등 도구 지원.

---

## 관련 도구 및 라이브러리

| 도구 | 특징 |
|------|------|
| **Optuna** | 베이지안 최적화 기반, 사용자 친화적, 병렬화 지원 |
| **Hyperopt** | 파이썬 기반, TPE(Tree-structured Parzen Estimator) 알고리즘 사용 |
| **Ray Tune** | 분산 학습 및 확장성 우수, 딥러닝 프레임워크와 통합 용이 |
| **Scikit-learn** | GridSearchCV, RandomizedSearchCV 제공, 간단한 모델에 적합 |

---

## 참고 자료

- Bergstra, J., & Bengio, Y. (2012). "Random Search for Hyper-Parameter Optimization". *Journal of Machine Learning Research*.
- Snoek, J., Larochelle, H., & Adams, R. P. (2012). "Practical Bayesian Optimization of Machine Learning Algorithms". *NeurIPS*.
- [Optuna 공식 문서](https://optuna.org/)
- [scikit-learn: Hyperparameter Tuning](https://scikit-learn.org/stable/modules/grid_search.html)

---

하이퍼파라미터 최적화는 머신러닝 파이프라인에서 모델 성능을 결정짓는 핵심 단계입니다. 기법의 선택은 문제의 복잡도, 자원 제약, 그리고 시간적 요구에 따라 달라져야 하며, 최신 자동화 도구를 적절히 활용하면 효율적인 모델 개발이 가능합니다.