# 선형 최소 제곱법

## 개요

**형 최소 제곱법**(Linear Least Squares Method)은 통계학과 수치해석에서 널리 사용되는 회귀분석 기법으로, 관측된 데이터와 모델의 예측값 사이의 **잔차 제곱합**(sum of squared residuals)을 최소화하여 모델의 파라미터를 추정하는 방법이다. 이 방법은 선형 회귀 모델을 추정하는 데 가장 기본적이면서도 강력한 도구로, 데이터에 대한 간단한 함수적 관계를 찾고자 할 때 자주 활용된다.

선형 최소 제곱법은 "선형"이라는 용어에서 알 수 있듯이, 모델이 회귀 계수에 대해 선형인 경우에 적용된다. 즉, 독립 변수가 비선형일 수 있지만, 계수(예: 기울기, 절편)에 대해서는 선형이어야 한다. 이 방법은 가우스와 레주르르가 18세기 말~19세기 초에 독립적으로 개발하였으며, 현대 통계학, 공학, 경제학 등 다양한 분야에서 핵심적인 역할을 한다.

---

## 수학적 원리

### 모델 형태

선형 최소 제곱법은 일반적으로 다음과 같은 선형 모델을 가정한다:

\[
y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_p x_{ip} + \varepsilon_i
\]

여기서:
- \( y_i \): 종속 변수 (반응 변수)
- \( x_{i1}, \dots, x_{ip} \): 독립 변수 (설명 변수)
- \( \beta_0, \beta_1, \dots, \beta_p \): 추정하고자 하는 회 계수
- \( \varepsilon_i \): 오차 항 (error term), 평균이 0이고 분산이 일정하다고 가정

이를 행렬 형태로 표현하면:

\[
\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}
\]

- \( \mathbf{y} \): 관측된 종속 변수의 벡터 (\(n \times 1\))
- \( \mathbf{X} \): 설계 행렬 (design matrix, \(n \times (p+1)\))
- \( \boldsymbol{\beta} \): 회귀 계수 벡터 (\( (p+1) \times 1 \))
- \( \boldsymbol{\varepsilon} \): 오차 벡터 (\(n \times 1\))

### 최소 제곱 추정

목표 오차 \( \boldsymbol{\varepsilon} \)의 제곱합을 최소화하는 \( \boldsymbol{\beta} \)를 찾는 것이다:

\[
\min_{\boldsymbol{\beta}} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = \min_{\boldsymbol{\beta}} \| \mathbf{y} - \mathbf{X}\boldsymbol{\beta} \|^2
\]

이 최적화 문제는 미분을 통해 해를 구할 수 있으며, 정규방정식(Normal Equation)을 도출하게 된다:

\[
\mathbf{X}^T\mathbf{X}\boldsymbol{\beta} = \mathbf{X}^T\mathbf{y}
\]

이 식을 만족하는 해는 다음과 같다:

\[
\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}
\]

단, \( \mathbf{X}^T\mathbf{X} \)가 역행렬을 가질 수 있어야 하며, 이는 독립 변수들 간의 **다중공선성**(multicollinearity)이 없고, 충분한 데이터가 있을 때 성립한다.

---

## 가정 조건

선형 최소 제곱법의 결과가 신뢰하려면 몇 가지 통계적 가정이 필요하다. 이는 **고전적 회귀 모형의 가정**(Classical Linear Regression Assumptions)이라 불린다:

1. **선형성**: 모델은 파라미터에 대해 선형이다.
2. **무편향 샘플링**: 오차의 기댓값은 0이다. \( E[\varepsilon_i] = 0 \)
3. **등분산성**(Homoscedasticity): 모든 관측치에서 오차의 분산이 동일하다.
4. **비상관성**(No autocorrelation): 오차들 간에 상관이 없다. \( \text{Cov}(\varepsilon_i, \varepsilon_j) = 0 \ (i \neq j) \)
5. **독립 변수와 오차의 무상관성**: \( \text{Cov}(x_{ij}, \varepsilon_i) = 0 \)
6. **정규성**(선택적): 오차 항이 정규분포를 따른다 (통계적 검정 시 필요)

이러한 가정이 위반되면 추정된 계수가 편향되거나, 신뢰구간 및 가설검정이 부정확해질 수 있다.

---

## 장점과 한계

### 장점
- 계산이 간단하고 해석이 직관적이다.
- 해가 닫힌 형태(closed-form solution)로 존재하여 수치적 안정성이 높다.
- 통계적 성질(예: BLUE - Best Linear Unbiased Estimator)이 잘 알려져 있다 (가우스-마르코프 정리).

### 한계
- 이상치(outliers)에 민감하다 (제곱 오차를 최소화하므로 큰 오차에 과도하게 반응).
- 독립 변수 간의 다중공선성이 높으면 \( \mathbf{X}^T\mathbf{X} \)의 역행렬 계산이 불안정해진다.
- 비선형 관계를 포착하지 못함 (비선형 관계가 있다면 선형 모델이 부적합).

---

## 활용 예시

예를 들어, 주택 가격을 예측하고자 할 때 다음과 같은 모델을 세울 수 있다:

\[
\text{가격} = \beta_0 + \beta_1 \times \text{면적} + \beta_2 \times \text{방 수} + \varepsilon
\]

선형 최소 제곱법을 통해 \( \beta_0, \beta_1, \beta_2 \)를 추정하면, 면적과 방 수에 따른 가격의 기대값을 계산할 수 있다.

---

## 관련 기법

- **가중 최소 제곱법**(WLS): 등분산성 가정이 위반될 때 오차의 분산에 따라 가중치를 부여.
- **릿지 회귀**(Ridge Regression): 다중공선성 문제를 해결하기 위해 \( L^2 \) 정규화를 추가.
- **라쏘 회귀**(Lasso): \( L^1 \) 정규화를 사용하여 변수 선택 효과를 가짐.

---

## 참고 자료

- Greene, W. H. (2018). *Econometric Analysis* (8th ed.). Pearson.
- Kutner, M. H., et al. (2005). *Applied Linear Statistical Models*. McGraw-Hill.
- Wikipedia: "Least squares", "Linear regression"

> **관련 문서**: [회귀분석](/wiki/회귀분석), [다중 회귀분석](/wiki/다중_회귀분석), [오차 제곱합](/wiki/오차_제곱합)