# 최소 제곱법

최소 제곱법(Least Squares)은 통계학과 데이터석에서 널리 사용되는 회귀분석 기법 중 하나로, 관측된 데이터와 모델의 예측값 사이의 오차를 최소화 방식으로 모델의 파라미터를 추정하는 방법이다. 이 방법은 특히 선형 회귀 모델에서 가장 기본적이고 중요한 추정 기법으로 자리 잡고 있으며, 수학적 해석이 명확하고 계산이 비교적 간단하여 다양한 분야에서 활용되고 있다.

---

## 개요

최소 제곱법은 주어진 데이터 점들에 가장 잘 맞는 함수, 특히 직선 또는 곡선을 찾는 데 사용된다. 이 방법의 핵심 아이디어는 **관측값과 모델의 예측값 사이의 잔차(residual)의 제곱합을 최소화**하는 것이다. 제곱합을 사용하는 이유는 음의 오차와 양의 오차가 서로 상쇄되는 것을 방지하고, 큰 오차에 더 큰 패널티를 부여하기 위함이다.

예를 들어, 두 변수 $ x $와 $ y $ 사이의 관계를 설명하기 위해 직선 $ y = ax + b $를 적합하고자 할 때, 최소 제곱법은 기울기 $ a $와 절편 $ b $를 선택하여 모든 데이터 점에 대한 수직 거리(오차)의 제곱합이 최소가 되도록 한다.

---

## 수학적 원리

### 1. 단순 선형 회귀에서의 최소 제곱법

단순 선형 회귀에서는 하나의 독립변수 $ x $와 종속변수 $ y $ 사이의 관계를 다음과 같은 형태로 모델링한다:

$$
y_i = \beta_0 + \beta_1 x_i + \varepsilon_i
$$

여기서:
- $ y_i $: 관측된 종속변수 값
- $ x_i $: 관측된 독립변수 값
- $ \beta_0 $: 절편 (intercept)
- $ \beta_1 $: 기울기 (slope)
- $ \varepsilon_i $: 오차항 (error term)

최소 제곱법은 오차 $ \varepsilon_i = y_i - (\beta_0 + \beta_1 x_i) $의 제곱합을 최소화하는 $ \beta_0 $와 $ \beta_1 $를 찾는다:

$$
\text{Minimize } S = \sum_{i=1}^{n} (y_i - \beta_0 - \beta_1 x_i)^2
$$

이 최적화 문제는 미분을 통해 풀 수 있으며, 결과적으로 다음과 같은 정규방정식(normal equations)을 도출할 수 있다:

$$
\beta_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2 \quad \beta_0 = \bar{y} - \beta_1 \bar{x}
$$

여기서 $ \bar{x} $와 $ \bar{y} $는 각각 $ x $와 $ y $의 표본 평균이다.

### 2. 다중 회귀분석에서의 최소 제곱법

독립변수가 여러 개인 경우, 모델은 다음과 같이 표현된다:

$$
\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}
$$

여기서:
- $ \mathbf{y} $: $ n \times 1 $ 관측값 벡터
- $ \mathbf{X} $: $ n \times p $ 설계행렬 (각 행은 관측값, 각 열은 변수)
- $ \boldsymbol{\beta} $: $ p \times 1 $ 회귀계수 벡터
- $ \boldsymbol{\varepsilon} $: 오차 벡터

최소 제곱 추정량은 다음과 같이 행렬 연산으로 구할 수 있다:

$$
\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}
$$

이 식은 $ \mathbf{X}^T \mathbf{X} $가 가역(invertible)일 때만 정의되며, 이는 독립변수들 사이에 완전한 다중공선성(multicollinearity)이 없음을 의미한다.

---

## 특성과 가정

최소 제곱법은 다음과 같은 통계적 가정을 바탕으로 하며, 이 가정들이 만족될 경우 최적의 추정 성능을 발휘한다. 이를 **가우스-마르코프 정리(Gauss-Markov Theorem)** 라고 하며, 이에 따라 최소 제곱 추정량은 **BLUE**(Best Linear Unbiased Estimator)가 된다.

### 가정 조건 (Gauss-Markov Assumptions)
1. **선형성**: 모델은 파라미터에 대해 선형이다.
2. **무편향성**: 오차의 기댓값은 0이다. ($ E[\varepsilon_i] = 0 $)
3. **등분산성**(Homoscedasticity): 오차의 분산이 모든 관측치에서 동일하다.
4. **비상관성**: 오차들 사이에 상관이 없다. ($ Cov(\varepsilon_i, \varepsilon_j) = 0 $ for $ i \neq j $)
5. **설명변수의 고정성**: 독립변수는 확률적이지 않고 고정되어 있다(또는 오차와 독립적임).

이러한 가정이 위반될 경우(예: 이분산성, 자기상관, 다중공선성), 최소 제곱법의 추정량은 여전히 불편(unbiased)할 수 있지만, 효율성이 떨어지거나 표준오차 추정이 잘못될 수 있다.

---

## 장점과 한계

### 장점
- **계산이 간단하고 해석이 직관적**이다.
- **수학적 성질이 우수**하여 통계적 추론(예: 신뢰구간, 가설검정)에 용이하다.
- 다양한 확장 모델(가중 최소 제곱법, 일반화 최소 제곱법 등)의 기반이 된다.

### 한계
- **이상치**(outliers)에 민감하다. 제곱 오차를 최소화하므로 큰 오차가 큰 영향을 미친다.
- **비선형 관계**가 존재할 경우 적합도가 낮을 수 있다.
- 독립변수 간 **다중공선성**이 심하면 추정이 불안정해진다.

---

## 관련 방법 및 확장

- **가중 최소 제곱법**(Weighted Least Squares, WLS): 이분산성(heteroscedasticity)이 있을 때 각 관측치에 가중치를 부여하여 추정.
- **일반화 최소 제곱법**(Generalized Least Squares, GLS): 오차의 공분산 구조를 고려한 추정법.
- **정규화 최소 제곱법**(Ridge, Lasso 회귀): 과적합을 방지하기 위해 페널티 항을 추가.

---

## 참고 자료

- Greene, W. H. (2018). *Econometric Analysis* (8th ed.). Pearson.
- Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2005). *Applied Linear Statistical Models*. McGraw-Hill.
- 위키백과, "[최소 제곱법](https://ko.wikipedia.org/wiki/최소_제곱법)"

> 최소 제곱법은 통계학의 기초이자 현대 데이터 과학의 핵심 도구 중 하나로, 그 응용 범위는 경제학, 공학, 생물학, 사회과학 등 거의 모든 실증 연구 분야에 걸쳐 있다.