# RNN (Recurrent Neural Network)

## 개요

**RNN**(Recurrent Neural Network, 순환 신경망)은 시계열 데이터나 순적 데이터(sequence data)를 처리하기 위해 설계된 딥러 기반 신경망 모델입니다. 일반적인 피포워드 신경망(Feed Neural Network)이 입력 데이터를 독립적인 단위로 간주하는 반면, RNN은 이전 단계의 정보를 내부 상태로 저장하고 다음 단계에 활용함으로써 **시간적 의존성**(temporal dependency)을 모델링할 수 있습니다. 이 특성 덕분에 자연어 처리(NLP), 음성 인식, 기계 번역, 주가 예측 등 순차적 패턴을 이해해야 하는 분야에서 널리 사용됩니다.

RNN의 핵심 아이디어는 **순환 구조**(recurrence)입니다. 동일한 네트워크 구조가 여러 시간 단계에 걸쳐 반복되며, 각 단계에서 입력 데이터를 처리하고 내부 상태(은닉 상태, hidden state)를 업데이트합니다. 이 은닉 상태는 과거 정보를 요약한 형태로, 다음 시간 단계의 계산에 사용됩니다.

## 구조와 동작 원리

### 기본 구조

RNN은 다음과 같은 수학적 구조를 가집니다:

- \( x_t \): 시간 단계 \( t \)에서의 입력 벡터
- \( h_t \): 시간 단계 \( t \)에서의 은닉 상태 (hidden state)
- \( y_t \): 시간 단계 \( t \)에서의 출력
- \( W_{xh} \), \( W_{hh} \), \( W_{hy} \): 학습 가능한 가중치 행렬

각 시간 단계에서의 은닉 상태는 다음 식으로 계산됩니다:

\[
h_t = \sigma(W_{xh} x_t + W_{hh} h_{t-1} + b_h)
\]

여기서 \( \sigma \)는 활성화 함수(보통 tanh 또는 ReLU), \( b_h \)는 편향(bias)입니다. 출력은 다음과 같이 계산됩니다:

\[
y_t = W_{hy} h_t + b_y
\]

이처럼 \( h_t \)는 이전 상태 \( h_{t-1} \)에 의존하므로, RNN은 과거 정보를 "기억"할 수 있는 구조를 갖습니다.

### 언롤링(Unrolling)

RNN을 이해하기 위해 자주 사용되는 개념이 **언롤링**입니다. 이는 RNN의 순환 구조를 시간 단계별로 펼쳐서 일반적인 피드포워드 네트워크처럼 표현하는 방법입니다. 예를 들어, 길이가 3인 시퀀스를 처리하는 RNN은 3개의 층으로 펼쳐질 수 있으며, 각 층은 동일한 가중치를 공유합니다. 이는 **가중치 공유**(weight sharing)를 통해 모델의 파라미터 수를 줄이고, 다양한 길이의 시퀀스를 처리할 수 있게 해줍니다.

## RNN의 변형 모델

기본 RNN은 이론적으로는 장기 의존성(long-term dependencies)을 학습할 수 있지만, 실제 학습 과정에서 **기울기 소실**(vanishing gradient) 또는 **기울기 폭주**(exploding gradient) 문제가 발생하여 장기 기억을 유지하기 어렵습니다. 이를 해결하기 위해 다양한 RNN 변형 모델이 제안되었습니다.

### LSTM (Long Short-Term Memory)

LSTM은 RNN의 기울기 소실 문제를 해결하기 위해 1997년 Hochreiter와 Schmidhuber에 의해 제안된 구조입니다. LSTM은 **게이트**(gate) 메커니즘을 도입하여 정보의 흐름을 제어합니다. 주요 구성 요소는 다음과 같습니다:

- **입력 게이트**(input gate): 새로운 정보를 얼마나 반영할지 결정
- **망각 게이트**(forget gate): 이전 셀 상태를 얼마나 잊어버릴지 결정
- **출력 게이트**(output gate): 다음 단계에 출력할 정보를 결정
- **셀 상태**(cell state): 장기 기억을 저장하는 경로

이 구조 덕분에 LSTM은 장기적인 시계열 패턴을 효과적으로 학습할 수 있으며, NLP 및 음성 인식 분야에서 오랫동안 주류 모델로 사용되었습니다.

### GRU (Gated Recurrent Unit)

GRU는 LSTM과 유사한 목적을 가지고 있지만, 구조가 더 단순합니다. 2014년 Cho 등에 의해 제안된 GRU는 **업데이트 게이트**(update gate)와 **리셋 게이트**(reset gate)를 사용하여 은닉 상태를 조절합니다. GRU는 LSTM보다 파라미터가 적고 계산이 빠르며, 많은 경우 성능은 유사합니다. 따라서 리소스 제약이 있는 환경에서 선호되는 경우가 많습니다.

## RNN의 활용 분야

RNN은 순차적 데이터 처리에 특화되어 있어 다음과 같은 분야에서 널리 활용됩니다:

- **자연어 처리**(NLP): 언어 모델링, 텍스트 생성, 감성 분석, 기계 번역
- **음성 인식**: 음성 신호를 텍스트로 변환
- **시계열 예측**: 주가, 날씨, 전력 소비량 예측
- **비디오 분석**: 프레임 간의 시간적 관계를 분석
- **음악 생성**: 음표 시퀀스를 기반으로 새로운 음악 생성

## 한계점과 대안

RNN은 순차적 처리 구조로 인해 **병렬화가 어렵고 학습 속도가 느리다**는 단점이 있습니다. 또한, 매우 긴 시퀀스에서도 여전히 기억 유지에 한계가 있습니다.

이러한 문제를 해결하기 위해 **트랜스포머**(Transformer) 아키텍처가 등장했습니다. 트랜스포머는 어텐션(attention) 메커니즘을 기반으로 하여 시퀀스 전체를 동시에 처리할 수 있어 병렬화가 용이하며, 장기 의존성 문제를 더 효과적으로 해결합니다. 현재 NLP 분야의 주류는 트랜스포머 기반 모델(예: BERT, GPT)로 전환되었지만, RNN 및 LSTM은 여전히 실시간 처리, 경량 모델, 특정 도메인에서 유용하게 사용되고 있습니다.

## 참고 자료

- Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. *Neural computation*, 9(8), 1735–1780.
- Cho, K., et al. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. *arXiv preprint arXiv:1406.1078*.
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press.

RNN은 딥러닝의 역사에서 중요한 전환점이었으며, 순차 데이터 처리의 기초를 다진 핵심 모델로 평가받습니다.