가중치 평균
개요
가중치 평균(Weighted Average)은 단순 평균(Arithmetic Mean)과 달리 각 신뢰도를 반영하기 위해 가중치(Weight)를 부여하여 계산하는 평균 방식입니다. 특히 데이터과학과 모델 평가 분야에서 다양한 지표를 종합하거나, 클래스 불균형이 있는 분류 문제에서 성능을 평가할 때 널리 사용됩니다.
단순 평균은 모든 데이터 포인트를 동등하게 취급하지만, 가중치 평균은 특정 요소가 더 큰 영향을 미치도록 조정할 수 있어, 현실 세계의 복잡한 데이터 구조를 더 정확하게 반영할 수 있습니다.
가중치 평균의 수학적 정의
가중치 평균은 다음과 같은 수식으로 정의됩니다:
$$
\bar{x}_w = \frac{\sum_{i=1}^{n} w_i x_i}{\sum_{i=1}^{n} w_i}
$$
여기서:
- $ x_i $: $ i $번째 데이터 값
- $ w_i $: $ i $번째 데이터에 부여된 가중치 (단, $ w_i \geq 0 $)
- $ \bar{x}_w $: 가중치 평균
예시
예를 들어, 세 개의 정밀도(Precision) 값이 각각 0.9, 0.7, 0.5이고, 각각의 샘플 수(가중치)가 100, 200, 300이라고 가정합시다. 이 경우 가중치 평균 정밀도는:
$$
\bar{p} = \frac{(0.9 \times 100) + (0.7 \times 200) + (0.5 \times 300)}{100 + 200 + 300} = \frac{90 + 140 + 150}{600} = \frac{380}{600} \approx 0.633
$$
이 값은 단순 평균 $ (0.9 + 0.7 + 0.5)/3 = 0.7 $ 과는 다르며, 더 많은 샘플을 가진 클래스의 성능에 더 큰 영향을 받습니다.
모델 평가에서의 가중치 평균 활용
분류 모델의 성능을 평가할 때, 특히 다중 클래스 분류(Multi-class Classification) 문제에서 각 클래스의 샘플 수가 불균형한 경우, 단순 평균은 왜곡된 결과를 초래할 수 있습니다. 이때 가중치 평균을 사용하여 각 클래스의 성능 지표를 샘플 수에 비례하여 통합합니다.
주요 평가 지표에서의 활용
1. 가중치 평균 정밀도 (Weighted Precision)
각 클래스의 정밀도를 해당 클래스의 샘플 수로 가중 평균합니다.
$$
\text{Precision}_{\text{weighted}} = \sum_{c=1}^{C} \left( \frac{N_c}{N} \times \text{Precision}_c \right)
$$
- $ N_c $: 클래스 $ c $의 샘플 수
- $ N $: 전체 샘플 수
- $ C $: 클래스 수
2. 가중치 평균 재현율 (Weighted Recall)
재현율도 동일한 방식으로 가중 평균을 적용할 수 있습니다.
$$
\text{Recall}_{\text{weighted}} = \sum_{c=1}^{C} \left( \frac{N_c}{N} \times \text{Recall}_c \right)
$$
3. 가중치 평균 F1 점수 (Weighted F1-Score)
F1 점수는 정밀도와 재현율의 조화 평균이지만, 클래스별 F1 점수를 가중 평균할 수도 있습니다. 이 경우 각 클래스의 F1 점수에 샘플 수를 가중치로 사용합니다.
from sklearn.metrics import f1_score
# 예시: 실제 라벨과 예측 라벨
y_true = [0, 1, 2, 2, 1, 0]
y_pred = [0, 1, 1, 2, 1, 0]
# 가중치 평균 F1 점수 계산
f1_weighted = f1_score(y_true, y_pred, average='weighted')
print(f"가중치 평균 F1 점수: {f1_weighted:.3f}")
가중치 평균 vs. 다른 평균 방식
| 방식 |
설명 |
사용 사례 |
| 마이크로 평균(Micro) |
모든 클래스의 지표를 샘플 단위로 통합하여 계산 |
클래스 불균형이 심할 때, 전체 예측 정확도를 중시할 때 |
| 마크로 평균(Macro) |
각 클래스의 지표를 동등하게 평균 |
모든 클래스가 동일한 중요도를 가질 때 |
| 가중치 평균(Weighted) |
각 클래스의 지표를 샘플 수에 따라 가중 평균 |
클래스 불균형이 존재하지만, 전체 분포를 반영하고 싶을 때 |
🔍 참고: <a href="/doc/%EA%B8%B0%EC%88%A0/%EC%86%8C%ED%94%84%ED%8A%B8%EC%9B%A8%EC%96%B4/%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4/scikit-learn" class="wiki-link">scikit-learn</a>의 classification_report 함수는 기본적으로 macro avg, weighted avg를 모두 출력하여 비교를 용이하게 합니다.
장점과 한계
✅ 장점
- 현실 반영력 향상: 각 클래스의 샘플 수를 반영하여 더 현실적인 성능 평가 가능.
- 불균형 데이터에 강함: 드문 클래스보다 빈번한 클래스의 성능에 더 큰 비중을 두므로, 실제 운영 환경에서의 성능을 더 잘 예측함.
- 해석 용이성: 전체 데이터 분포를 반영한 단일 지표 제공.
❌ 한계
- 다수 클래스 편향: 매우 큰 클래스가 평균을 지배할 수 있어 소수 클래스의 성능 저하를 간과할 수 있음.
- 가중치 선택의 주관성: 가중치가 항상 샘플 수일 필요는 없으며, 도메인 지식에 따라 달라질 수 있음.
관련 문서 및 참고 자료
📘 Tip: 클래스 불균형이 심한 문제에서는 가중치 평균 외에도 샘플 재조정(Resampling), 비용 민감 학습(Cost-sensitive Learning), 또는 ROC-AUC와 같은 지표를 병행 사용하는 것이 좋습니다.
가중치 평균은 데이터과학에서 정량적 평가를 보다 정교하게 수행할 수 있도록 해주는 핵심 기법 중 하나입니다. 특히 모델의 실용적 성능을 평가할 때, 단순 통계보다 현실에 가까운 인사이트를 제공하므로, 분석가라면 반드시 이해하고 활용할 수 있어야 합니다.
가중 산술 평균(Weighted Arithmetic Mean)
가중치 평균의 수학적 기초가 되는 가중 산술 평균은 각 관측치에 서로 다른 중요도(가중치)를 부여하여 계산하는 평균값입니다. 이는 일반적인 산술 평균의 일반화된 형태로, 모든 데이터의 가중치가 동일($w_1 = w_2 = \dots = w_n$)할 때 산술 평균과 일치하게 됩니다.
가중 산술 평균의 일반 수식은 다음과 같습니다:
$$
\bar{x}_w = \frac{\sum_{i=1}^{n} w_i x_i}{\sum_{i=1}^{n} w_i}
$$
이 수식은 각 값 $x_i$가 전체 평균에 기여하는 정도를 가중치 $w_i$를 통해 조절함으로써, 데이터의 상대적 중요도를 수치적으로 반영합니다.
가중치 정규화와 수식의 간소화
가중치의 합이 1이 되도록 조정하는 과정을 정규화(Normalization)라고 합니다. 가중치 $\sum w_i = 1$인 정규화된 가중치를 사용할 경우, 분모가 1이 되어 수식이 다음과 같이 간소화됩니다.
$$
\bar{x}_w = \sum_{i=1}^{n} w_i x_i
$$
정규화 전후의 수식 비교는 다음과 같습니다.
| 구분 |
일반 가중치 (Unnormalized) |
정규화된 가중치 (Normalized) |
| 조건 |
$\sum w_i \neq 1$ (일반적인 경우) |
$\sum w_i = 1$ |
| 수식 |
$\frac{\sum w_i x_i}{\sum w_i}$ |
$\sum w_i x_i$ |
| 특징 |
가중치의 절대값이 중요함 |
가중치의 상대적 비율이 중요함 |
실생활 및 학술적 활용 사례
가중 산술 평균은 데이터과학 외에도 다양한 학문적, 실무적 분야에서 필수적으로 활용됩니다.
1. 대학 성적 계산 (GPA)
가장 대표적인 사례로, 과목별 '학점 수'를 가중치로 사용하여 평균 평점을 계산합니다. 단순히 과목 점수를 더해 나누는 것이 아니라, 이수 학점이 높은 과목이 전체 성적에 더 큰 영향을 미치도록 설계되어 있습니다.
계산 예시:
- 수학 (3학점): A (4.0)
- 영어 (2학점): B (3.0)
- 교양 (1학점): C (2.0)
$$
\text{GPA} = \frac{(4.0 \times 3) + (3.0 \times 2) + (2.0 \times 1)}{3 + 2 + 1} = \frac{12 + 6 + 2}{6} = \frac{20}{6} \approx 3.33
$$
2. 물리학의 무게 중심 (Center of Mass)
여러 질점이 분포해 있을 때, 각 질점의 위치($x_i$)에 질량($m_i$)을 가중치로 부여하여 전체 시스템의 무게 중심을 구합니다.
$$
X_{cm} = \frac{\sum m_i x_i}{\sum m_i}
$$
3. 경제학의 소비자 물가 지수 (CPI)
모든 품목의 가격 변동을 동일하게 반영하지 않고, 가계 지출에서 차지하는 비중(가중치)이 큰 품목(예: 식료품, 주거비)의 가격 변동을 더 많이 반영하여 물가 지수를 산출합니다.
가중치 평균은 수학적으로 선형 결합(Linear Combination)의 특수한 형태이며, 특히 가중치의 합이 1인 경우 볼록 결합(Convex Combination)으로 정의됩니다.
선형 결합 (Linear Combination)
가중치 평균의 분자 부분인 $\sum w_i x_i$는 각 요소에 상수를 곱해 더한 선형 결합입니다. 이는 벡터 공간에서 각 성분을 확장하거나 축소하여 새로운 지점을 찾는 과정과 같습니다.
볼록 결합 (Convex Combination)
가중치 평균에서 가중치를 정규화하여 $\sum_{i=1}^{n} w_i = 1$ (단, $w_i \geq 0$)이라는 제약 조건을 만족할 때, 이를 볼록 결합이라고 합니다. 이 제약 조건은 다음과 같은 중요한 의미를 갖습니다.
- 범위의 제한: 결과값 $\bar{x}_w$가 항상 입력값들의 최솟값과 최댓값 사이($\min(x_i) \leq \bar{x}_w \leq \max(x_i)$)에 존재하도록 보장합니다.
- 상대적 비중의 보존: 가중치의 절대적인 크기가 아니라, 전체에서 각 요소가 차지하는 '비율'만을 반영하게 됩니다.
- 기하학적 의미: $n$개의 점이 있을 때, 볼록 결합으로 만들어진 모든 점의 집합은 그 점들을 포함하는 가장 작은 볼록 다각형(Convex Hull) 내부에 위치하게 됩니다.
가중 결합의 구현 방식
프로그래밍 환경에서 가중치 평균을 구현할 때는 데이터의 크기와 라이브러리에 따라 다양한 방식을 사용합니다.
NumPy는 수치 계산 최적화에 특화되어 np.average라는 전용 함수를 제공하는 반면, Pandas는 데이터프레임 구조를 활용하여 열 간 연산이나 그룹별 가중 평균을 구현하는 패턴을 주로 사용합니다.
import numpy as np
import pandas as pd
# 데이터 설정
values = np.array([0.9, 0.7, 0.5])
weights = np.array([100, 200, 300])
# 1. NumPy 방식: 전용 함수 사용 (가장 효율적)
np_weighted_avg = np.average(values, weights=weights)
# 2. Pandas 방식: 벡터 연산 후 합산 (데이터프레임 구조에 적합)
df = pd.DataFrame({'val': values, 'weight': weights})
pd_weighted_avg = (df['val'] * df['weight']).sum() / df['weight'].sum()
print(f"NumPy 결과: {np_weighted_avg:.3f}")
print(f"Pandas 결과: {pd_weighted_avg:.3f}")
구현 팁
- 벡터 내적(Dot Product): 가중치가 이미 정규화($\sum w_i = 1$)되어 있다면,
np.dot(values, weights)를 통해 가장 빠르게 계산할 수 있습니다.
- 대규모 데이터: Pandas의
groupby와 함께 가중 평균을 적용할 때는 apply 함수 내에서 위 Pandas 패턴을 구현하여 그룹별 가중 평균을 산출합니다.
가중치 결정 전략 및 적용 기법
단순히 샘플 수를 가중치로 사용하는 것 외에도, 목적에 따라 다양한 가중치 설정 전략을 적용할 수 있습니다.
1. 도메인 지식 기반 고정 가중치
데이터의 양과 상관없이 전문가의 판단이나 비즈니스 중요도에 따라 가중치를 고정하는 방식입니다. (예: 고객 만족도 조사에서 '재구매 의사' 항목에 0.5, '서비스 친절도'에 0.3, '가격 만족도'에 0.2의 가중치 부여)
2. 시간 감쇠 가중치 (Time-decay Weight)
최신 데이터가 더 중요할 때 사용하는 기법으로, 시간이 지남에 따라 가중치를 지수적으로 감소시킵니다.
수식:
$$ w_i = e^{-\lambda (t_{now} - t_i)} $$
- $\lambda$: 감쇠 계수 (Decay rate, 값이 클수록 과거 데이터의 영향력이 빠르게 감소)
- $t_{now} - t_i$: 현재 시점과 데이터 생성 시점의 차이
3. 학습 가능한 가중치 (Learnable Weights)
딥러닝의 Attention 메커니즘이 대표적인 예입니다. 고정된 가중치를 사용하는 대신, 모델이 데이터의 맥락을 파악하여 어떤 요소에 더 집중할지 가중치($\alpha$)를 스스로 학습하게 합니다.
실무 구현 시 고려사항 및 한계
엣지 케이스 처리
실제 구현 시 특정 클래스의 샘플 수가 0이 되어 분모가 0이 되는 Zero Division 문제가 발생할 수 있습니다. 이를 방지하기 위해 다음과 같은 처리 방법을 사용합니다.
* Laplace Smoothing: 분모에 작은 상수 $\epsilon$을 더하거나, 모든 가중치에 최소 가중치를 부여하여 수치적 안정성을 확보합니다.
* 조건부 필터링: 가중치가 0인 요소는 계산 대상에서 제외하는 마스킹(Masking) 기법을 적용합니다.
비판적 관점: 편향과 과적합
가중치 평균은 유용하지만 다음과 같은 위험성을 내포하고 있습니다.
* 편향(Bias) 증폭: 가중치 설정이 잘못되었을 경우(예: 잘못된 도메인 지식 반영), 특정 데이터의 오류가 전체 평균을 심하게 왜곡하는 편향 증폭 현상이 발생합니다.
* 과적합(Overfitting) 가능성: 학습 가능한 가중치를 사용할 때, 훈련 데이터의 특정 노이즈에 과도하게 높은 가중치를 부여하면 일반화 성능이 떨어지는 과적합 문제가 발생할 수 있습니다.
# 가중치 평균
## 개요
**가중치 평균**(Weighted Average)은 단순 평균(Arithmetic Mean)과 달리 각 신뢰도를 반영하기 위해 **가중치**(Weight)를 부여하여 계산하는 평균 방식입니다. 특히 **데이터과학**과 **모델 평가** 분야에서 다양한 지표를 종합하거나, 클래스 불균형이 있는 분류 문제에서 성능을 평가할 때 널리 사용됩니다.
단순 평균은 모든 데이터 포인트를 동등하게 취급하지만, 가중치 평균은 특정 요소가 더 큰 영향을 미치도록 조정할 수 있어, 현실 세계의 복잡한 데이터 구조를 더 정확하게 반영할 수 있습니다.
---
## 가중치 평균의 수학적 정의
가중치 평균은 다음과 같은 수식으로 정의됩니다:
$$
\bar{x}_w = \frac{\sum_{i=1}^{n} w_i x_i}{\sum_{i=1}^{n} w_i}
$$
여기서:
- $ x_i $: $ i $번째 데이터 값
- $ w_i $: $ i $번째 데이터에 부여된 가중치 (단, $ w_i \geq 0 $)
- $ \bar{x}_w $: 가중치 평균
### 예시
예를 들어, 세 개의 정밀도(Precision) 값이 각각 0.9, 0.7, 0.5이고, 각각의 샘플 수(가중치)가 100, 200, 300이라고 가정합시다. 이 경우 가중치 평균 정밀도는:
$$
\bar{p} = \frac{(0.9 \times 100) + (0.7 \times 200) + (0.5 \times 300)}{100 + 200 + 300} = \frac{90 + 140 + 150}{600} = \frac{380}{600} \approx 0.633
$$
이 값은 단순 평균 $ (0.9 + 0.7 + 0.5)/3 = 0.7 $ 과는 다르며, 더 많은 샘플을 가진 클래스의 성능에 더 큰 영향을 받습니다.
---
## 모델 평가에서의 가중치 평균 활용
분류 모델의 성능을 평가할 때, 특히 **다중 클래스 분류**(Multi-class Classification) 문제에서 각 클래스의 샘플 수가 불균형한 경우, 단순 평균은 왜곡된 결과를 초래할 수 있습니다. 이때 **가중치 평균**을 사용하여 각 클래스의 성능 지표를 샘플 수에 비례하여 통합합니다.
### 주요 평가 지표에서의 활용
#### 1. 가중치 평균 정밀도 (Weighted Precision)
각 클래스의 정밀도를 해당 클래스의 샘플 수로 가중 평균합니다.
$$
\text{Precision}_{\text{weighted}} = \sum_{c=1}^{C} \left( \frac{N_c}{N} \times \text{Precision}_c \right)
$$
- $ N_c $: 클래스 $ c $의 샘플 수
- $ N $: 전체 샘플 수
- $ C $: 클래스 수
#### 2. 가중치 평균 재현율 (Weighted Recall)
재현율도 동일한 방식으로 가중 평균을 적용할 수 있습니다.
$$
\text{Recall}_{\text{weighted}} = \sum_{c=1}^{C} \left( \frac{N_c}{N} \times \text{Recall}_c \right)
$$
#### 3. 가중치 평균 F1 점수 (Weighted F1-Score)
F1 점수는 정밀도와 재현율의 조화 평균이지만, 클래스별 F1 점수를 가중 평균할 수도 있습니다. 이 경우 각 클래스의 F1 점수에 샘플 수를 가중치로 사용합니다.
```python
from sklearn.metrics import f1_score
# 예시: 실제 라벨과 예측 라벨
y_true = [0, 1, 2, 2, 1, 0]
y_pred = [0, 1, 1, 2, 1, 0]
# 가중치 평균 F1 점수 계산
f1_weighted = f1_score(y_true, y_pred, average='weighted')
print(f"가중치 평균 F1 점수: {f1_weighted:.3f}")
```
---
## 가중치 평균 vs. 다른 평균 방식
| 방식 | 설명 | 사용 사례 |
|------|------|----------|
| **마이크로 평균**(Micro) | 모든 클래스의 지표를 샘플 단위로 통합하여 계산 | 클래스 불균형이 심할 때, 전체 예측 정확도를 중시할 때 |
| **마크로 평균**(Macro) | 각 클래스의 지표를 동등하게 평균 | 모든 클래스가 동일한 중요도를 가질 때 |
| **가중치 평균**(Weighted) | 각 클래스의 지표를 샘플 수에 따라 가중 평균 | 클래스 불균형이 존재하지만, 전체 분포를 반영하고 싶을 때 |
> 🔍 **참고**: `scikit-learn`의 `classification_report` 함수는 기본적으로 `macro avg`, `weighted avg`를 모두 출력하여 비교를 용이하게 합니다.
---
## 장점과 한계
### ✅ 장점
- **현실 반영력 향상**: 각 클래스의 샘플 수를 반영하여 더 현실적인 성능 평가 가능.
- **불균형 데이터에 강함**: 드문 클래스보다 빈번한 클래스의 성능에 더 큰 비중을 두므로, 실제 운영 환경에서의 성능을 더 잘 예측함.
- **해석 용이성**: 전체 데이터 분포를 반영한 단일 지표 제공.
### ❌ 한계
- **다수 클래스 편향**: 매우 큰 클래스가 평균을 지배할 수 있어 소수 클래스의 성능 저하를 간과할 수 있음.
- **가중치 선택의 주관성**: 가중치가 항상 샘플 수일 필요는 없으며, 도메인 지식에 따라 달라질 수 있음.
---
## 관련 문서 및 참고 자료
- [scikit-learn: Model Evaluation](https://scikit-learn.org/stable/modules/model_evaluation.html)
- [F1 Score - Wikipedia](https://en.wikipedia.org/wiki/F1_score)
- [Imbalanced Classification in Machine Learning](https://machinelearningmastery.com/tour-of-evaluation-metrics-for-imbalanced-classification/)
> 📘 **Tip**: 클래스 불균형이 심한 문제에서는 가중치 평균 외에도 **샘플 재조정**(Resampling), **비용 민감 학습**(Cost-sensitive Learning), 또는 **ROC-AUC**와 같은 지표를 병행 사용하는 것이 좋습니다.
---
가중치 평균은 데이터과학에서 정량적 평가를 보다 정교하게 수행할 수 있도록 해주는 핵심 기법 중 하나입니다. 특히 모델의 실용적 성능을 평가할 때, 단순 통계보다 현실에 가까운 인사이트를 제공하므로, 분석가라면 반드시 이해하고 활용할 수 있어야 합니다.
## 가중 산술 평균(Weighted Arithmetic Mean)
가중치 평균의 수학적 기초가 되는 **가중 산술 평균**은 각 관측치에 서로 다른 중요도(가중치)를 부여하여 계산하는 평균값입니다. 이는 일반적인 산술 평균의 일반화된 형태로, 모든 데이터의 가중치가 동일($w_1 = w_2 = \dots = w_n$)할 때 산술 평균과 일치하게 됩니다.
가중 산술 평균의 일반 수식은 다음과 같습니다:
$$
\bar{x}_w = \frac{\sum_{i=1}^{n} w_i x_i}{\sum_{i=1}^{n} w_i}
$$
이 수식은 각 값 $x_i$가 전체 평균에 기여하는 정도를 가중치 $w_i$를 통해 조절함으로써, 데이터의 상대적 중요도를 수치적으로 반영합니다.
## 가중치 정규화와 수식의 간소화
가중치의 합이 1이 되도록 조정하는 과정을 **정규화(Normalization)**라고 합니다. 가중치 $\sum w_i = 1$인 정규화된 가중치를 사용할 경우, 분모가 1이 되어 수식이 다음과 같이 간소화됩니다.
$$
\bar{x}_w = \sum_{i=1}^{n} w_i x_i
$$
정규화 전후의 수식 비교는 다음과 같습니다.
| 구분 | 일반 가중치 (Unnormalized) | 정규화된 가중치 (Normalized) |
| :--- | :---: | :---: |
| **조건** | $\sum w_i \neq 1$ (일반적인 경우) | $\sum w_i = 1$ |
| **수식** | $\frac{\sum w_i x_i}{\sum w_i}$ | $\sum w_i x_i$ |
| **특징** | 가중치의 절대값이 중요함 | 가중치의 상대적 비율이 중요함 |
## 실생활 및 학술적 활용 사례
가중 산술 평균은 데이터과학 외에도 다양한 학문적, 실무적 분야에서 필수적으로 활용됩니다.
### 1. 대학 성적 계산 (GPA)
가장 대표적인 사례로, 과목별 '학점 수'를 가중치로 사용하여 평균 평점을 계산합니다. 단순히 과목 점수를 더해 나누는 것이 아니라, 이수 학점이 높은 과목이 전체 성적에 더 큰 영향을 미치도록 설계되어 있습니다.
**계산 예시:**
- 수학 (3학점): A (4.0)
- 영어 (2학점): B (3.0)
- 교양 (1학점): C (2.0)
$$
\text{GPA} = \frac{(4.0 \times 3) + (3.0 \times 2) + (2.0 \times 1)}{3 + 2 + 1} = \frac{12 + 6 + 2}{6} = \frac{20}{6} \approx 3.33
$$
### 2. 물리학의 무게 중심 (Center of Mass)
여러 질점이 분포해 있을 때, 각 질점의 위치($x_i$)에 질량($m_i$)을 가중치로 부여하여 전체 시스템의 무게 중심을 구합니다.
$$
X_{cm} = \frac{\sum m_i x_i}{\sum m_i}
$$
### 3. 경제학의 소비자 물가 지수 (CPI)
모든 품목의 가격 변동을 동일하게 반영하지 않고, 가계 지출에서 차지하는 비중(가중치)이 큰 품목(예: 식료품, 주거비)의 가격 변동을 더 많이 반영하여 물가 지수를 산출합니다.
## 선형 결합과 볼록 결합의 관점
가중치 평균은 수학적으로 **선형 결합(Linear Combination)**의 특수한 형태이며, 특히 가중치의 합이 1인 경우 **볼록 결합(Convex Combination)**으로 정의됩니다.
### 선형 결합 (Linear Combination)
가중치 평균의 분자 부분인 $\sum w_i x_i$는 각 요소에 상수를 곱해 더한 선형 결합입니다. 이는 벡터 공간에서 각 성분을 확장하거나 축소하여 새로운 지점을 찾는 과정과 같습니다.
### 볼록 결합 (Convex Combination)
가중치 평균에서 가중치를 정규화하여 $\sum_{i=1}^{n} w_i = 1$ (단, $w_i \geq 0$)이라는 제약 조건을 만족할 때, 이를 볼록 결합이라고 합니다. 이 제약 조건은 다음과 같은 중요한 의미를 갖습니다.
* **범위의 제한**: 결과값 $\bar{x}_w$가 항상 입력값들의 최솟값과 최댓값 사이($\min(x_i) \leq \bar{x}_w \leq \max(x_i)$)에 존재하도록 보장합니다.
* **상대적 비중의 보존**: 가중치의 절대적인 크기가 아니라, 전체에서 각 요소가 차지하는 '비율'만을 반영하게 됩니다.
* **기하학적 의미**: $n$개의 점이 있을 때, 볼록 결합으로 만들어진 모든 점의 집합은 그 점들을 포함하는 가장 작은 볼록 다각형(Convex Hull) 내부에 위치하게 됩니다.
## 가중 결합의 구현 방식
프로그래밍 환경에서 가중치 평균을 구현할 때는 데이터의 크기와 라이브러리에 따라 다양한 방식을 사용합니다.
### NumPy vs Pandas 구현 비교
NumPy는 수치 계산 최적화에 특화되어 `np.average`라는 전용 함수를 제공하는 반면, Pandas는 데이터프레임 구조를 활용하여 열 간 연산이나 그룹별 가중 평균을 구현하는 패턴을 주로 사용합니다.
```python
import numpy as np
import pandas as pd
# 데이터 설정
values = np.array([0.9, 0.7, 0.5])
weights = np.array([100, 200, 300])
# 1. NumPy 방식: 전용 함수 사용 (가장 효율적)
np_weighted_avg = np.average(values, weights=weights)
# 2. Pandas 방식: 벡터 연산 후 합산 (데이터프레임 구조에 적합)
df = pd.DataFrame({'val': values, 'weight': weights})
pd_weighted_avg = (df['val'] * df['weight']).sum() / df['weight'].sum()
print(f"NumPy 결과: {np_weighted_avg:.3f}")
print(f"Pandas 결과: {pd_weighted_avg:.3f}")
```
### 구현 팁
* **벡터 내적(Dot Product)**: 가중치가 이미 정규화($\sum w_i = 1$)되어 있다면, `np.dot(values, weights)`를 통해 가장 빠르게 계산할 수 있습니다.
* **대규모 데이터**: Pandas의 `groupby`와 함께 가중 평균을 적용할 때는 `apply` 함수 내에서 위 Pandas 패턴을 구현하여 그룹별 가중 평균을 산출합니다.
## 가중치 결정 전략 및 적용 기법
단순히 샘플 수를 가중치로 사용하는 것 외에도, 목적에 따라 다양한 가중치 설정 전략을 적용할 수 있습니다.
### 1. 도메인 지식 기반 고정 가중치
데이터의 양과 상관없이 전문가의 판단이나 비즈니스 중요도에 따라 가중치를 고정하는 방식입니다. (예: 고객 만족도 조사에서 '재구매 의사' 항목에 0.5, '서비스 친절도'에 0.3, '가격 만족도'에 0.2의 가중치 부여)
### 2. 시간 감쇠 가중치 (Time-decay Weight)
최신 데이터가 더 중요할 때 사용하는 기법으로, 시간이 지남에 따라 가중치를 지수적으로 감소시킵니다.
**수식:**
$$ w_i = e^{-\lambda (t_{now} - t_i)} $$
- $\lambda$: 감쇠 계수 (Decay rate, 값이 클수록 과거 데이터의 영향력이 빠르게 감소)
- $t_{now} - t_i$: 현재 시점과 데이터 생성 시점의 차이
### 3. 학습 가능한 가중치 (Learnable Weights)
딥러닝의 **Attention 메커니즘**이 대표적인 예입니다. 고정된 가중치를 사용하는 대신, 모델이 데이터의 맥락을 파악하여 어떤 요소에 더 집중할지 가중치($\alpha$)를 스스로 학습하게 합니다.
## 실무 구현 시 고려사항 및 한계
### 엣지 케이스 처리
실제 구현 시 특정 클래스의 샘플 수가 0이 되어 분모가 0이 되는 **Zero Division** 문제가 발생할 수 있습니다. 이를 방지하기 위해 다음과 같은 처리 방법을 사용합니다.
* **Laplace Smoothing**: 분모에 작은 상수 $\epsilon$을 더하거나, 모든 가중치에 최소 가중치를 부여하여 수치적 안정성을 확보합니다.
* **조건부 필터링**: 가중치가 0인 요소는 계산 대상에서 제외하는 마스킹(Masking) 기법을 적용합니다.
### 비판적 관점: 편향과 과적합
가중치 평균은 유용하지만 다음과 같은 위험성을 내포하고 있습니다.
* **편향(Bias) 증폭**: 가중치 설정이 잘못되었을 경우(예: 잘못된 도메인 지식 반영), 특정 데이터의 오류가 전체 평균을 심하게 왜곡하는 편향 증폭 현상이 발생합니다.
* **과적합(Overfitting) 가능성**: 학습 가능한 가중치를 사용할 때, 훈련 데이터의 특정 노이즈에 과도하게 높은 가중치를 부여하면 일반화 성능이 떨어지는 과적합 문제가 발생할 수 있습니다.