매개변수 (Parameter)
1. 개요
매개변수(Parameter, 파라미터)란 인공지능 및 머신러닝 모델이 학습 데이터로부터 스스로 습득하여 최적의 값을 찾아가는 내부 변수를 의미한다. 모델의 예측값과 실제 정답 사이의 오차를 줄이기 위해 학습 과정에서 지속적으로 업데이트되며, 모델이 데이터의 패턴과 특징을 기억하는 '지식'의 저장소 역할을 한다.
많은 사용자가 하이퍼파라미터(Hyperparameter)와 혼동하지만, 매개변수는 모델이 학습을 통해 자동으로 결정하는 값인 반면, 하이퍼파라미터는 사용자가 학습 시작 전 수동으로 설정하는 제어 변수(예: 학습률, 배치 크기 등)라는 점에서 근본적인 차이가 있다.
2. 매개변수의 종류와 역할
인공신경망에서 매개변수는 주로 가중치(Weight)와 편향(Bias)으로 구성된다.
2.1 가중치 (Weight)
가중치는 입력 신호가 결과에 미치는 영향력을 조절하는 계수이다. 특정 입력 특성(Feature)이 결과값에 얼마나 중요한지를 결정하며, 가중치가 클수록 해당 입력값이 출력에 더 큰 영향을 미친다.
2.2 편향 (Bias)
편향은 입력값과 상관없이 뉴런이 얼마나 쉽게 활성화될지를 결정하는 상수이다. 가중치만으로는 데이터의 결정 경계(Decision Boundary)를 적절한 위치로 이동시킬 수 없기 때문에, 편향을 더함으로써 모델의 유연성을 높이고 최적의 경계를 형성하게 한다.
[도식: 가중치와 편향의 관계]
$$\text{출력값}(y) = \text{활성화함수}(\sum (\text{입력값} \times \text{가중치}) + \text{편향})$$
$$\text{Output} = \sigma(W \cdot X + b)$$
(여기서 $W$는 입력의 기울기를 조절하는 가중치, $b$는 전체 식을 평행 이동시키는 편향을 의미함)
[표 1] 가중치와 편향의 역할 비교
| 구분 |
가중치 (Weight) |
편향 (Bias) |
| 역할 |
입력 신호의 중요도(강도) 조절 |
뉴런의 활성화 임계치 조절 |
| 기하학적 의미 |
결정 경계의 기울기(방향) 결정 |
결정 경계의 절편(위치) 이동 |
| 영향 |
입력 데이터의 특징 추출에 관여 |
모델의 전반적인 기본 성향 결정 |
3. 매개변수의 학습 원리
매개변수 학습의 핵심은 손실 함수(Loss Function)의 값을 최소화하는 최적의 매개변수 조합을 찾는 것이다.
3.1 학습 프로세스
- 순전파 (Forward Propagation): 입력 데이터가 매개변수를 거쳐 출력값으로 전달된다.
- 손실 계산: 출력값과 실제 정답을 비교하여 오차(Loss)를 계산한다.
- 역전파 (Backpropagation): 출력층에서 입력층 방향으로 오차를 전파하며, 각 매개변수가 오차에 기여한 정도(기울기, Gradient)를 계산한다.
- 경사하강법 (Gradient Descent): 계산된 기울기의 반대 방향으로 매개변수를 조금씩 수정하여 손실을 줄인다.
3.2 가중치 업데이트 수식
역전파를 통해 계산된 기울기를 바탕으로 가중치를 업데이트하며, 이는 일반적으로 다음과 같은 수식으로 표현된다.
$$W_{new} = W_{old} - \eta \cdot \frac{\partial L}{\partial W}$$
- $W_{new}$: 업데이트된 가중치
- $W_{old}$: 현재 가중치
- $\eta$ (Eta): 학습률(Learning Rate), 한 번의 단계에서 얼마나 크게 업데이트할지를 결정하는 하이퍼파라미터
- $\frac{\partial L}{\partial W}$: 손실 함수 $L$을 가중치 $W$로 편미분한 값으로, 손실 함수에 대한 가중치의 기울기(Gradient)를 의미한다.
4. 매개변수 초기화 방법
매개변수의 초기값은 모델의 수렴 속도와 성능에 결정적인 영향을 미친다. 모든 매개변수를 0이나 동일한 값으로 초기화하면 모든 뉴런이 동일하게 업데이트되는 '대칭성 문제'가 발생하여 학습이 이루어지지 않는다.
- 랜덤 초기화 (Random Initialization): 작은 무작위 값으로 설정하여 대칭성을 깨뜨린다.
- Xavier/Glorot 초기화: 입력 노드와 출력 노드의 수에 따라 분산을 조절한다. 주로 Sigmoid나 Tanh 활성화 함수와 함께 사용된다.
- He 초기화: ReLU 활성화 함수 사용 시 발생하는 'Dead ReLU' 현상을 방지하기 위해 고안되었으며, 현대 딥러닝 모델에서 가장 널리 쓰인다.
5. 모델 규모와 매개변수 수
매개변수의 총합은 모델의 용량(Capacity)을 결정한다. 매개변수 수가 많을수록 모델은 더 복잡한 데이터 패턴을 학습할 수 있는 표현력(Expressivity)을 갖게 된다.
5.1 매개변수 수 계산법
매개변수 수는 각 층(Layer)의 연결 구조에 따라 결정된다.
- Fully Connected Layer: $\text{(입력 노드 수} \times \text{출력 노드 수)} + \text{출력 노드 수(편향)}$
- 예시: 입력 노드가 10개, 출력 노드가 5개인 층의 경우, $(10 \times 5) + 5 = 55$개의 매개변수가 존재한다.
- Convolutional Layer: $\text{(필터 가로} \times \text{필터 세로} \times \text{입력 채널 수} \times \text{필터 개수)} + \text{필터 개수(편향)}$
- 예시: $3 \times 3$ 필터 32개를 사용하고 입력 채널이 3개인 경우, $(3 \times 3 \times 3 \times 32) + 32 = 896$개의 매개변수가 존재한다.
5.2 LLM과 매개변수 규모
최근의 거대언어모델(LLM)은 수십억에서 수천억 개의 매개변수를 가진다. 매개변수 규모가 일정 임계치를 넘어서면 모델이 학습하지 않은 능력을 갑자기 습득하는 창발적 능력(Emergent Abilities)이 나타나는 경향이 있다.
[표 2] 주요 AI 모델별 매개변수 규모 (근사치)
| 모델명 |
매개변수 규모 |
특징 |
| BERT-Base |
약 1.1억 개 (110M) |
자연어 이해(NLU)의 표준 모델 |
| GPT-2 |
약 15억 개 (1.5B) |
문장 생성 능력의 가능성 제시 |
| GPT-3 |
약 1,750억 개 (175B) |
Few-shot 학습 능력 및 범용성 확보 |
| GPT-4 |
약 1.7조 개 추정 |
공식 발표는 없으나 MoE(Mixture of Experts) 구조로 추정 |
6. 매개변수 최적화 및 효율화 기법
매개변수 수가 지나치게 많으면 학습 데이터에만 과하게 최적화되어 새로운 데이터에 대응하지 못하는 과적합(Overfitting)이 발생한다. 이를 해결하기 위해 다음과 같은 기법들이 사용된다.
- 규제 (Regularization): L1/L2 규제를 통해 가중치 값이 너무 커지지 않도록 제한하여 모델의 복잡도를 낮추고 일반화 성능을 높인다.
- 드롭아웃 (Dropout): 학습 과정에서 무작위로 일부 뉴런을 비활성화하여 특정 매개변수에 대한 의존도를 낮추고 과적합을 방지한다.
- 양자화 (Quantization): 32비트 부동소수점(FP32)으로 저장된 매개변수를 8비트(INT8)나 4비트로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다.
- LoRA (Low-Rank Adaptation): 전체 매개변수를 업데이트하는 대신, 낮은 순위(Low-rank)의 행렬 두 개만을 추가하여 학습함으로써 업데이트해야 할 매개변수 수를 획기적으로 줄이는 효율적 미세조정(PEFT) 기법이다.
7. 요약 및 비교
매개변수(파라미터)와 하이퍼파라미터는 모델 구축의 두 축이지만, 그 성격은 완전히 다르다.
[표 3] 매개변수 vs 하이퍼파라미터 최종 비교
| 비교 항목 |
매개변수 (Parameter) |
하이퍼파라미터 (Hyperparameter) |
| 결정 주체 |
모델 (학습 알고리즘) |
사용자 (데이터 과학자) |
| 결정 시점 |
학습 과정 중 지속적 업데이트 |
학습 시작 전 설정 |
| 변경 방법 |
역전파 및 경사하강법을 통해 자동 수정 |
실험과 튜닝(Grid/Random Search)을 통해 수정 |
| 주요 예시 |
가중치(Weight), 편향(Bias) |
학습률, 배치 크기, 에포크, 은닉층 수 |
| 목적 |
데이터의 패턴 및 특징 학습 |
학습 과정의 효율성 및 성능 제어 |
관련 문서
경사하강법역전파과적합학습률(Learning Rate)손실 함수
# 매개변수 (Parameter)
## 1. 개요
**매개변수(Parameter, 파라미터)**란 인공지능 및 머신러닝 모델이 학습 데이터로부터 스스로 습득하여 최적의 값을 찾아가는 내부 변수를 의미한다. 모델의 예측값과 실제 정답 사이의 오차를 줄이기 위해 학습 과정에서 지속적으로 업데이트되며, 모델이 데이터의 패턴과 특징을 기억하는 '지식'의 저장소 역할을 한다.
많은 사용자가 **하이퍼파라미터(Hyperparameter)**와 혼동하지만, 매개변수는 모델이 학습을 통해 *자동으로* 결정하는 값인 반면, 하이퍼파라미터는 사용자가 학습 시작 전 *수동으로* 설정하는 제어 변수(예: 학습률, 배치 크기 등)라는 점에서 근본적인 차이가 있다.
## 2. 매개변수의 종류와 역할
인공신경망에서 매개변수는 주로 가중치(Weight)와 편향(Bias)으로 구성된다.
### 2.1 가중치 (Weight)
가중치는 입력 신호가 결과에 미치는 영향력을 조절하는 계수이다. 특정 입력 특성(Feature)이 결과값에 얼마나 중요한지를 결정하며, 가중치가 클수록 해당 입력값이 출력에 더 큰 영향을 미친다.
### 2.2 편향 (Bias)
편향은 입력값과 상관없이 뉴런이 얼마나 쉽게 활성화될지를 결정하는 상수이다. 가중치만으로는 데이터의 결정 경계(Decision Boundary)를 적절한 위치로 이동시킬 수 없기 때문에, 편향을 더함으로써 모델의 유연성을 높이고 최적의 경계를 형성하게 한다.
**[도식: 가중치와 편향의 관계]**
$$\text{출력값}(y) = \text{활성화함수}(\sum (\text{입력값} \times \text{가중치}) + \text{편향})$$
$$\text{Output} = \sigma(W \cdot X + b)$$
*(여기서 $W$는 입력의 기울기를 조절하는 가중치, $b$는 전체 식을 평행 이동시키는 편향을 의미함)*
**[표 1] 가중치와 편향의 역할 비교**
| 구분 | 가중치 (Weight) | 편향 (Bias) |
| :--- | :--- | :--- |
| **역할** | 입력 신호의 중요도(강도) 조절 | 뉴런의 활성화 임계치 조절 |
| **기하학적 의미** | 결정 경계의 기울기(방향) 결정 | 결정 경계의 절편(위치) 이동 |
| **영향** | 입력 데이터의 특징 추출에 관여 | 모델의 전반적인 기본 성향 결정 |
## 3. 매개변수의 학습 원리
매개변수 학습의 핵심은 **손실 함수(Loss Function)**의 값을 최소화하는 최적의 매개변수 조합을 찾는 것이다.
### 3.1 학습 프로세스
1. **순전파 (Forward Propagation):** 입력 데이터가 매개변수를 거쳐 출력값으로 전달된다.
2. **손실 계산:** 출력값과 실제 정답을 비교하여 오차(Loss)를 계산한다.
3. **역전파 (Backpropagation):** 출력층에서 입력층 방향으로 오차를 전파하며, 각 매개변수가 오차에 기여한 정도(기울기, Gradient)를 계산한다.
4. **경사하강법 (Gradient Descent):** 계산된 기울기의 반대 방향으로 매개변수를 조금씩 수정하여 손실을 줄인다.
### 3.2 가중치 업데이트 수식
역전파를 통해 계산된 기울기를 바탕으로 가중치를 업데이트하며, 이는 일반적으로 다음과 같은 수식으로 표현된다.
$$W_{new} = W_{old} - \eta \cdot \frac{\partial L}{\partial W}$$
- $W_{new}$: 업데이트된 가중치
- $W_{old}$: 현재 가중치
- $\eta$ (Eta): 학습률(Learning Rate), 한 번의 단계에서 얼마나 크게 업데이트할지를 결정하는 하이퍼파라미터
- $\frac{\partial L}{\partial W}$: 손실 함수 $L$을 가중치 $W$로 편미분한 값으로, **손실 함수에 대한 가중치의 기울기(Gradient)**를 의미한다.
## 4. 매개변수 초기화 방법
매개변수의 초기값은 모델의 수렴 속도와 성능에 결정적인 영향을 미친다. 모든 매개변수를 0이나 동일한 값으로 초기화하면 모든 뉴런이 동일하게 업데이트되는 '대칭성 문제'가 발생하여 학습이 이루어지지 않는다.
- **랜덤 초기화 (Random Initialization):** 작은 무작위 값으로 설정하여 대칭성을 깨뜨린다.
- **Xavier/Glorot 초기화:** 입력 노드와 출력 노드의 수에 따라 분산을 조절한다. 주로 Sigmoid나 Tanh 활성화 함수와 함께 사용된다.
- **He 초기화:** ReLU 활성화 함수 사용 시 발생하는 'Dead ReLU' 현상을 방지하기 위해 고안되었으며, 현대 딥러닝 모델에서 가장 널리 쓰인다.
## 5. 모델 규모와 매개변수 수
매개변수의 총합은 모델의 **용량(Capacity)**을 결정한다. 매개변수 수가 많을수록 모델은 더 복잡한 데이터 패턴을 학습할 수 있는 표현력(Expressivity)을 갖게 된다.
### 5.1 매개변수 수 계산법
매개변수 수는 각 층(Layer)의 연결 구조에 따라 결정된다.
- **Fully Connected Layer:** $\text{(입력 노드 수} \times \text{출력 노드 수)} + \text{출력 노드 수(편향)}$
- *예시: 입력 노드가 10개, 출력 노드가 5개인 층의 경우, $(10 \times 5) + 5 = 55$개의 매개변수가 존재한다.*
- **Convolutional Layer:** $\text{(필터 가로} \times \text{필터 세로} \times \text{입력 채널 수} \times \text{필터 개수)} + \text{필터 개수(편향)}$
- *예시: $3 \times 3$ 필터 32개를 사용하고 입력 채널이 3개인 경우, $(3 \times 3 \times 3 \times 32) + 32 = 896$개의 매개변수가 존재한다.*
### 5.2 LLM과 매개변수 규모
최근의 거대언어모델(LLM)은 수십억에서 수천억 개의 매개변수를 가진다. 매개변수 규모가 일정 임계치를 넘어서면 모델이 학습하지 않은 능력을 갑자기 습득하는 **창발적 능력(Emergent Abilities)**이 나타나는 경향이 있다.
**[표 2] 주요 AI 모델별 매개변수 규모 (근사치)**
| 모델명 | 매개변수 규모 | 특징 |
| :--- | :--- | :--- |
| **BERT-Base** | 약 1.1억 개 (110M) | 자연어 이해(NLU)의 표준 모델 |
| **GPT-2** | 약 15억 개 (1.5B) | 문장 생성 능력의 가능성 제시 |
| **GPT-3** | 약 1,750억 개 (175B) | Few-shot 학습 능력 및 범용성 확보 |
| **GPT-4** | 약 1.7조 개 추정 | 공식 발표는 없으나 MoE(Mixture of Experts) 구조로 추정 |
## 6. 매개변수 최적화 및 효율화 기법
매개변수 수가 지나치게 많으면 학습 데이터에만 과하게 최적화되어 새로운 데이터에 대응하지 못하는 **과적합(Overfitting)**이 발생한다. 이를 해결하기 위해 다음과 같은 기법들이 사용된다.
- **규제 (Regularization):** L1/L2 규제를 통해 가중치 값이 너무 커지지 않도록 제한하여 모델의 복잡도를 낮추고 일반화 성능을 높인다.
- **드롭아웃 (Dropout):** 학습 과정에서 무작위로 일부 뉴런을 비활성화하여 특정 매개변수에 대한 의존도를 낮추고 과적합을 방지한다.
- **양자화 (Quantization):** 32비트 부동소수점(FP32)으로 저장된 매개변수를 8비트(INT8)나 4비트로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 기법이다.
- **LoRA (Low-Rank Adaptation):** 전체 매개변수를 업데이트하는 대신, 낮은 순위(Low-rank)의 행렬 두 개만을 추가하여 학습함으로써 업데이트해야 할 매개변수 수를 획기적으로 줄이는 효율적 미세조정(PEFT) 기법이다.
## 7. 요약 및 비교
매개변수(파라미터)와 하이퍼파라미터는 모델 구축의 두 축이지만, 그 성격은 완전히 다르다.
**[표 3] 매개변수 vs 하이퍼파라미터 최종 비교**
| 비교 항목 | 매개변수 (Parameter) | 하이퍼파라미터 (Hyperparameter) |
| :--- | :--- | :--- |
| **결정 주체** | 모델 (학습 알고리즘) | 사용자 (데이터 과학자) |
| **결정 시점** | 학습 과정 중 지속적 업데이트 | 학습 시작 전 설정 |
| **변경 방법** | 역전파 및 경사하강법을 통해 자동 수정 | 실험과 튜닝(Grid/Random Search)을 통해 수정 |
| **주요 예시** | 가중치(Weight), 편향(Bias) | 학습률, 배치 크기, 에포크, 은닉층 수 |
| **목적** | 데이터의 패턴 및 특징 학습 | 학습 과정의 효율성 및 성능 제어 |
## 관련 문서
- `경사하강법`
- `역전파`
- `과적합`
- `학습률(Learning Rate)`
- `손실 함수`