# 가중치 (Weight)

**가중치**(Weight)는 인공 신경망(Artificial Neural Network, ANN) 및 머신러닝 모델에서 입력 데이터의 중요도를 결정하는 핵심 매개변수입니다. 신경망이 학습을 통해 데이터를 이해하고 예측하는 과정에서 가장 중요한 역할을 하며, 모델의 성능을 결정짓는 가장 큰 요소 중 하나입니다. 이 문서에서는 가중치의 정의, 작동 원리, 학습 과정에서의 역할, 그리고 초기화 및 최적화 기법에 대해 상세히 다룹니다.

## 1. 개요 및 정의

인공 신경망은 생물학적 뉴런의 구조를 모방하여 설계된 계산 모델입니다. 각 뉴런(노드)은 여러 입력 신호를 받아들이고, 이를 처리하여 하나의 출력 신호를 생성합니다. 이때 **가중치**는 각 입력 신호가 해당 뉴런의 출력에 얼마나 큰 영향을 미칠지를 나타내는 숫자 값입니다.

*   **양의 가중치 (+Weight)**: 입력 신호가 출력에 긍정적인 영향을 미침 (활성화를 촉진).
*   **음의 가중치 (-Weight)**: 입력 신호가 출력에 부정적인 영향을 미침 (활성화를 억제).
*   **영의 가중치 (0 Weight)**: 해당 입력은 출력에 영향을 미치지 않음 (연결이 끊어진 상태).

즉, 가중치는 신경망이 "무엇을 배우고 있는지"를 나타내는 저장소라고 볼 수 있습니다. 학습이 진행됨에 따라 가중치 값이 조정되며, 모델은 더 정확한 예측을 할 수 있게 됩니다.

## 2. 수학적 표현과 작동 원리

단일 뉴런에서의 가중치 역할은 선형 결합(Linear Combination)과 활성화 함수(Activation Function)를 통해 설명할 수 있습니다.

### 2.1 수식적 표현
입력 벡터 $\mathbf{x} = [x_1, x_2, ..., x_n]$과 가중치 벡터 $\mathbf{w} = [w_1, w_2, ..., w_n]$이 있을 때, 뉴런의 합산 입력 $z$는 다음과 같이 계산됩니다.

$$ z = \sum_{i=1}^{n} (w_i \cdot x_i) + b $$

여기서 $b$는 **편향(Bias)**으로, 활성화 임계값을 조절하는 역할을 합니다. 최종 출력 $a$는 활성화 함수 $f$를 통해 얻어집니다.

$$ a = f(z) = f\left(\sum_{i=1}^{n} (w_i \cdot x_i) + b\right) $$

### 2.2 가중치의 의미
*   **$w_i$가 크다면**: 해당 입력 $x_i$가 출력 $a$에 미치는 영향이 큽니다. 즉, 모델은 해당 특징을 매우 중요하게 여깁니다.
*   **$w_i$가 작다면**: 해당 입력의 영향력이 미미합니다.
*   **$w_i$가 0이라면**: 해당 입력은 모델의 결정에 전혀 관여하지 않습니다.

## 3. 가중치 학습 과정

신경망은 초기에는 무작위로 설정된 가중치로 시작합니다. 학습 과정은 이 가중치를 조정하여 예측 오차를 최소화하는 것입니다.

### 3.1 순전파 (Forward Propagation)
입력 데이터가 네트워크를 통과하여 출력이 생성되는 과정입니다. 이때의 출력과 정답(Label) 간의 차이인 **손실(Loss)**이 계산됩니다.

### 3.2 역전파 (Backpropagation)
계산된 손실을 바탕으로 가중치가 얼마나 잘못되었는지 그 기울기(Gradient)를 계산합니다. 이는 체인 룰(Chain Rule)을 사용하여 출력층에서 입력층 방향으로 역으로 전파됩니다.

### 3.3 가중치 업데이트 (Weight Update)
경사 하강법(Gradient Descent) 및 그 변형 알고리즘(Adam, RMSprop 등)을 사용하여 가중치를 업데이트합니다. 일반적인 업데이트 공식은 다음과 같습니다.

$$ w_{new} = w_{old} - \eta \cdot \frac{\partial L}{\partial w} $$

*   $\eta$ (Eta): 학습률(Learning Rate)
*   $\frac{\partial L}{\partial w}$: 손실 함수에 대한 가중치의 편미분 (기울기)

이 과정을 반복함으로써 모델은 데이터의 패턴을 점차적으로 학습하게 됩니다.

## 4. 가중치 초기화 (Weight Initialization)

학습의 시작점인 가중치의 초기값 설정은 모델의 수렴 속도와 최종 성능에 지대한 영향을 미칩니다. 잘못된 초기화는 학습을 방해하는 주요 원인 중 하나입니다.

| 초기화 방법 | 설명 | 특징 |
| :--- | :--- | :--- |
| **영(Zero) 초기화** | 모든 가중치를 0으로 설정 | 대칭성 문제(Symmetry Breaking) 발생. 모든 뉴런이 동일한 업데이트를 하여 학습이 되지 않음. **사용 금지**. |
| **랜덤 초기화** | 작은 무작위 값으로 설정 | 초기에는 사용되었으나, 깊은 네트워크에서 기울기 소실/폭발 문제 유발 가능. |
| **Xavier 초기화** | 분산을 입력/출력 노드 수의 평균으로 조정 | 시그모이드, tanh 등 포화 활성화 함수에 적합. |
| **He 초기화** | 분산을 입력 노드 수의 절반으로 조정 | ReLU 계열 활성화 함수에 최적화되어 널리 사용됨. |

## 5. 주요 문제점 및 해결 방안

### 5.1 기울기 소실 (Vanishing Gradient)
신경망이 깊어질수록, 역전파 과정에서 기울기가 지수함수적으로 감소하여 입력층 근처의 가중치가 거의 업데이트되지 않는 현상입니다.
*   **해결책**: ReLU 활성화 함수 사용, Batch Normalization, Residual Connection(잔차 연결) 도입.

### 5.2 기울기 폭발 (Exploding Gradient)
반대로 기울기가 지나치게 커져 가중치가 무한대로 발산하거나 NaN(Not a Number)이 되는 현상입니다.
*   **해결책**: Gradient Clipping(기울기 클리핑), 적절한 가중치 초기화, LSTM/GRU 같은 순환 신경망 구조 사용.

### 5.3 과적합 (Overfitting)과 정규화
가중치가 훈련 데이터의 노이즈까지 지나치게 학습하여 일반화 성능이 떨어지는 현상입니다. 이를 방지하기 위해 가중치의 크기를 제한하는 정규화 기법이 사용됩니다.
*   **L1 정규화 (Lasso)**: 가중치의 절대값 합을 패널티로 추가하여 희소한 가중치(Sparse Weight)를 유도. 특징 선택에 유용.
*   **L2 정규화 (Ridge)**: 가중치의 제곱 합을 패널티로 추가하여 가중치 값을 작게 유지. 과적합 방지에 널리 사용.

## 6. 결론

가중치는 인공 신경망의 '지식'을 저장하는 핵심 요소입니다. 단순한 숫자 값처럼 보이지만, 그 값의 분포와 크기는 모델의 학습 효율성과 예측 정확도를 결정합니다. 따라서 효과적인 신경망 설계는 적절한 가중치 초기화 전략 선택과 학습 중 가중치 업데이트 알고리즘의 최적화를 통해 이루어집니다. 최근에는 트랜스포머(Transformer) 아키텍처와 같은 대규모 모델에서도 가중치의 효율적인 관리와 정교한 초기화 기법이 성능 향상의 열쇠로 작용하고 있습니다.

## 참고 문헌 및 관련 문서

*   [신경망 (Neural Network)](링크)
*   [역전파 알고리즘 (Backpropagation)](링크)
*   [경사 하강법 (Gradient Descent)](링크)
*   He, K., et al. (2015). *Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification*. ICCV.
*   Glorot, X., & Bengio, Y. (2010). *Understanding the difficulty of training deep feedforward neural networks*. AISTATS.