# 드롭아웃

## 개요

**드롭아웃**(out)은 인공지능, 특히 딥러닝 분야에서 널리 사용되는 **정규화**(Regularization) 기법 중 하나로,경망 모델의 과적합(Overfitting)을 방하기 위해 고안. 드롭아웃은 훈련 과정 중 임의로 일부 뉴런(neuron)을 일시적으로 제거함으로써 모델의 복잡도를 줄이고, 각 뉴런이 다른 뉴런에 과도하게 의존하는 것을 막아 **모델의 일반화 능력**(Generalization)을 향상시킨다.

이 기법은 2012년 제프리 힌턴(Geoffrey Hinton)과 그의 연구팀이 제안한 이후, 딥러닝 모델의 핵심 구성 요소로 자리 잡았다. 특히 대규모 신경망에서 효과적으로 작용하며, 다양한 분야(이미지 인식, 자연어 처리, 음성 인식 등)에서 성능 향상에 기여하고 있다.

---

## 드롭아웃의 원리

### 기본 개념

드롭아웃은 신경망의 **각 훈련 단계**(training step)마다 레이어에 속한 뉴런 중 일정 확률(*p*)로 뉴런을 **무작위로 비활성화**(deactivate)하는 방식으로 동작한다. 이때 비활성화된 뉴런은 순전파(forward pass)와 역전파(backward pass) 과정에서 제외되며, 출력에 기여하지 않는다.

- 일반적으로 드롭아웃 확률은 **0.2에서 0.5 사이**로 설정된다.
- 예를 들어, 드롭아웃 확률이 0.3이라면, 각 뉴런이 30%의 확률로 훈련 중에 제거된다.

### 수학적 표현

각 뉴런의 활성화 값 $a_i$에 대해, 드롭아웃은 다음과 같은 마스크(mask)를 곱하는 것으로 표현할 수:

$$
a_i' = a_i \cdot r_i, \quad \text{단, } r_i \sim \text{Bernoulli}(1 - p)
$$

여기서 $r_i$는 베르누이 확률 변수로, $1 - p$의 확률로 1을, $p$의 확률로 0을 가진다. 결과적으로 $r_i = 0$이면 해당 뉴런은 "드롭아웃"된다.

---

## 드롭아웃의 작동 방식

### 훈련 단계 vs. 평가 단계

드롭아웃은 **훈련 과정에서만 적용**되며, 모델을 평가하거나 예측할 때는 사용하지 않는다. 그러나 단순히 모든 뉴런을 활성화하면 훈련 시보다 출력 값의 크기가 커지기 때문에, 다음과 같은 보정이 필요하다:

- **스케일링 보정**(Scaling): 훈련 시 활성화 값을 $(1 - p)$로 나누어 평균 출력을 일치시킨다.
- 또는 **역 드롭아웃**(Inverted Dropout): 훈련 시 드롭아웃된 뉴런의 출력을 $(1 - p)$로 나누어 보정함으로써, 평가 시에는 드롭아웃을 제거한 상태로 그대로 사용할 수 있다.

대부분의 딥러닝 프레임워크(PyTorch, TensorFlow 등)는 **역 드롭아웃**을 기본으로 사용한다.

### 예시: 텐서플로에서의 구현

```python
import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(128, activation='relu', input_shape=(784,)),
    tf.keras.layers.Dropout(0.5),  # 50% 드롭아웃
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dropout(0.3),
    tf.keras.layers.Dense(10, activation='softmax')
])
```

---

## 드롭아웃의 장점과 한계

### 장점

| 장점 | 설명 |
|------|------|
| 과적합 방지 | 모델이 특정 뉴런에 과도하게 의존하지 않도록 강제하여 일반화 성능 향상 |
| 계산 비용 낮음 | 간단한 확률적 기법으로, 추가적인 복잡한 계산이 필요하지 않음 |
| 다양한 아키텍처에 적용 가능 | 완전 연결층(Fully Connected), RNN, CNN 등 대부분의 네트워크에 사용 가능 |

### 한계 및 주의사항

- **학습 속도 저하**: 일부 뉴런이 비활성화되므로, 매 스텝에서 정보 전달이 불완전해져 수렴 속도가 느려질 수 있다.
- **드롭아웃률 조정 필요**: 너무 높은 드롭아웃률은 학습을 방해하고, 너무 낮으면 정규화 효과가 미미하다.
- **CNN에서는 제한적 효과**: 합성곱층에서는 드롭아웃보다 **배치 정규화**(Batch Normalization)가 더 효과적인 경우가 많다.
- **RNN에서의 문제**: 순차적 데이터 처리 특성상 드롭아웃 시 시간 축에서 일관성 유지가 어려움. 이를 해결하기 위해 **변종 기법**(Variational Dropout, Recurrent Dropout)이 제안됨.

---

## 드롭아웃의 변종

드롭아웃의 기본 개념을 확장한 다양한 변형 기법들이 존재한다.

| 변종 | 설명 |
|------|------|
| **Spatial Dropout** | CNN에서 특성 맵 전체 채널을 드롭아웃. 공간적 상관관계를 고려한 정규화 |
| **Drop Connect** | 뉴런이 아닌 **가중치**를 확률적으로 제거. 드롭아웃보다 더 일반적인 형태 |
| **Alpha Dropout** | 셀프-정규화 신경망(Self-Normalizing Neural Networks, SNN)과 함께 사용되며, 출력의 평균과 분산을 보존 |
| **Variational Dropout** | RNN에 적용 시, 동일한 드롭아웃 마스크를 모든 시간 단계에 적용하여 일관성 유지 |

---

## 활용 사례

- **이미지 분류**: VGG, ResNet 등의 네트워크에서 완전 연결층 전후에 드롭아웃 적용
- **자연어 처리**: LSTM 기반 언어 모델에서 은닉 상태에 드롭아웃 적용
- **음성 인식**: RNN 계열 모델에서 과적합 방지를 위해 사용

---

## 참고 자료 및 관련 문서

- [Hinton, G. E., et al. (2012). "Improving neural networks by preventing co-adaptation of feature detectors." *arXiv preprint arXiv:1207.0580*](https://arxiv.org/abs/1207.0580)
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press.
- 관련 위키 문서:
  - [정규화 (Regularization)](https://ko.wikipedia.org/wiki/정규화_(통계))
  - [과적합](https://ko.wikipedia.org/wiki/과적합)
  - [배치 정규화](https://ko.wikipedia.org/wiki/배치_정규화)

드롭아웃은 딥러닝 모델 설계 시 기본적으로 고려해야 할 정규화 기법 중 하나로, 간단하면서도 강력한 효과를 제공한다. 그러나 최근에는 배치 정규화, 레이어 정규화 등 다른 기법들과 함께 또는 대체하여 사용되며, 상황에 맞는 선택이 중요하다.