# 회귀 계수

회귀 계수(Regression Coefficient)는 통계학에서 회귀 분석(Regression Analysis)을 수행할 때 나타나는 핵심 개념으로, 독립 변수(설명 변수)가 종속 변수(반응 변수)에 미치는 영향의 크기와 방향을 수치적으로 나타냅니다. 회귀 분석은 변수 간의 관계를 모델링하고 예측하는 데 널리 사용되며, 회귀 계수는 이러한 모델에서 각 변수의 기여도를 평가하는 데 중추적인 역할을 합니다.

이 문서에서는 회귀 계수의 정의, 종류, 해석 방법, 추정 방식, 그리고 해석 시 주의할 점 등을 체계적으로 설명합니다.

---

## 개요

회귀 분석은 하나 이상의 독립 변수($X_1, X_2, \dots, X_p$)를 사용하여 종속 변수($Y$)의 값을 예측하거나 설명하는 통계적 기법입니다. 이 분석에서 추정되는 회귀 계수는 각 독립 변수의 단위 변화가 종속 변수에 미치는 평균적인 영향을 나타냅니다.

예를 들어, 단순 선형 회귀 모델에서 다음과 같은 형태를 가집니다:

$$
Y = \beta_0 + \beta_1 X + \varepsilon
$$

여기서:
- $Y$: 종속 변수
- $X$: 독립 변수
- $\beta_0$: 절편 (Intercept)
- $\beta_1$: 회귀 계수 (기울기)
- $\varepsilon$: 오차항

이 경우 $\beta_1$이 회귀 계수이며, $X$가 1단위 증가할 때 $Y$가 평균적으로 얼마나 증가(또는 감소)하는지를 나타냅니다.

---

## 회귀 계수의 종류

회귀 계수는 회귀 모델의 형태에 따라 여러 종류로 나뉩니다.

### 1. 단순 회귀 계수 (Simple Regression Coefficient)

한 개의 독립 변수만을 사용하는 단순 선형 회귀에서 얻어지는 계수입니다. 예를 들어, 키와 몸무게의 관계를 분석할 때 키의 회귀 계수는 키가 1cm 증가할 때 몸무게가 평균적으로 얼마나 증가하는지를 나타냅니다.

### 2. 다중 회귀 계수 (Multiple Regression Coefficient)

두 개 이상의 독립 변수를 포함하는 다중 회귀 분석에서 각 변수에 대응하는 계수입니다. 이 경우 회귀 계수는 **다른 변수들을 통제한 상태에서** 해당 변수의 순수한 영향을 나타냅니다.

예: $Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \varepsilon$  
$\beta_1$은 $X_2$가 고정된 상태에서 $X_1$의 변화가 $Y$에 미치는 영향을 의미합니다.

### 3. 표준화 회귀 계수 (Standardized Regression Coefficient)

독립 변수와 종속 변수를 모두 표준화(z-점수) 변환한 후 추정한 회귀 계수로, **단위에 영향을 받지 않기 때문에 변수 간 영향력의 크기를 직접 비교**할 수 있습니다. 이 계수는 종종 **베타 계수**(Beta Coefficient)라고도 불립니다.

예: 표준화 계수가 0.8인 변수는 0.3인 변수보다 더 강한 영향을 미친다고 해석할 수 있습니다.

---

## 회귀 계수의 추정

회귀 계수는 일반적으로 **최소제곱법**(Ordinary Least Squares, OLS)을 통해 추정됩니다. 이 방법은 관측값과 회귀 모델의 예측값 사이의 **잔차 제곱합**(RSS)을 최소화하는 계수를 찾는 방식입니다.

수식적으로, 회귀 계수 벡터 $\boldsymbol{\beta}$는 다음과 같이 추정됩니다:

$$
\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{Y}
$$

여기서:
- $\mathbf{X}$: 독립 변수들의 설계 행렬 (Design Matrix)
- $\mathbf{Y}$: 종속 변수 벡터

이 추정량은 일정한 가정 하에 불편성(Unbiasedness), 효율성(Efficiency) 등의 통계적 성질을 가집니다.

---

## 회귀 계수의 해석

회귀 계수를 올바르게 해석하기 위해서는 다음 사항들을 고려해야 합니다:

- **부호**: 양수는 양의 관계, 음수는 음의 관계를 나타냅니다.
- **크기**: 계수의 절댓값이 클수록 영향력이 크다고 볼 수 있지만, 변수의 단위에 따라 달라지므로 주의가 필요합니다.
- **유의성**: 통계적 유의성은 p-값이나 신뢰구간을 통해 판단합니다. 일반적으로 p < 0.05이면 유의하다고 판단합니다.
- **다중공선성**: 독립 변수들 사이에 높은 상관이 있을 경우, 회귀 계수의 추정이 불안정해지고 해석이 왜곡될 수 있습니다.

---

## 주의 사항

- **인과관계의 오해**: 회귀 계수는 상관관계를 나타낼 뿐, 반드시 인과관계를 의미하지 않습니다.
- **비선형 관계 무시**: 회귀 계수가 작다고 해서 영향이 없다고 단정하면 안 됩니다. 비선형 관계가 존재할 수 있습니다.
- **이상치의 영향**: 회귀 계수는 이상치에 민감할 수 있으므로, 탐색적 데이터 분석(EDA)이 중요합니다.
- **모델 가정 위반**: 선형성, 등분산성, 오차의 정규성 등 회귀 모델의 가정이 충족되지 않으면 계수 해석이 신뢰할 수 없게 됩니다.

---

## 관련 개념 및 참고 자료

- **결정계수**(R²): 회귀 모델의 설명력을 나타냄.
- **신뢰구간**(Confidence Interval): 회귀 계수의 추정 정확도를 평가.
- **p-값**(p-value): 계수가 0이 아닐 가능성(유의성) 평가.

### 참고 문헌
- Wooldridge, J. M. (2015). *Introductory Econometrics: A Modern Approach*. Cengage Learning.
- James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). *An Introduction to Statistical Learning*. Springer.

---

이 문서는 회귀 계수의 기본 개념과 실용적 해석을 중심으로 구성되었으며, 통계학 학습자 및 데이터 분석 실무자에게 유용한 정보를 제공합니다.