# 선형 최소 제곱법

## 개요

선형 최 제곱법(Linear Least Squares Method)은 통계학 수치해석에서 널리 사용되는귀분석 기법으로, 관측된 데이터와 모델의 예측값 사이의 **잔차 제곱합**(Sum of Squared Residuals)을 최소화하여 모의 파라미터를 추정하는 방법입니다. 이 방법은 선 회귀 모델의 추정에 가장 기본적이면서도 핵심적인 역할을 하며, 단순 선형 회귀에서 다중 선형 회귀까지 다양한 형태로 적용됩니다.

선형 최소 제곱법은 18세기 말 카를 프리드리히 가우스와 아드리앵마리 르장드르에 의해 독립적으로 개발되었으며, 특히 가우스는 천체 운동의 궤도 예측에 이 방법을 적용한 것으로 유명합니다.

이 문서에서는 선형 최소 제곱법의 이론적 기초, 수학적 표현, 추정 과정, 가정 조건, 장단점 및 실제 활용 사례를 다룹니다.

---

## 이론적 배경

### 정의

선형 최소 제곱법은 독립 변수 \( x \)와 종속 변수 \( y \) 사이의 관계를 다음과 같은 선형 모델로 표현하고자 합니다:

\[
y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p + \varepsilon
\]

여기서:
- \( y \): 종속 변수 (반응 변수)
- \( x_1, x_2, \ldots, x_p \): 독립 변수 (설명 변수)
- \( \beta_0, \beta_1, \ldots, \beta_p \): 추정하고자 하는 회귀 계수
- \( \varepsilon \): 오차 항 (error term)

목표는 주어진 \( n \)개의 관측 데이터 \( (y_i, x_{i1}, \ldots, x_{ip}) \)에 대해, 오차 \( \varepsilon_i = y_i - \hat{y}_i \)의 제곱합을 최소화하는 계수 \( \hat{\beta} \)를 찾는 것입니다.

즉, 다음의 목적 함수를 최소화합니다:

\[
S(\beta) = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = \sum_{i=1}^{n} \left( y_i - (\beta_0 + \beta_1 x_{i1} + \cdots + \beta_p x_{ip}) \right)^2
\]

---

## 수학적 표현과 추정 과정

### 행렬 형태

관측값을 행렬로 표현하면 계산이 간결해집니다. 관측 데이터를 다음과 같이 정의합니다:

- \( \mathbf{y} \): \( n \times 1 \) 종속 변수 벡터
- \( \mathbf{X} \): \( n \times (p+1) \) 설계 행렬 (첫 번째 열은 절편 항을 위해 1로 채워짐)
- \( \boldsymbol{\beta} \): \( (p+1) \times 1 \) 회귀 계수 벡터
- \( \boldsymbol{\varepsilon} \): \( n \times 1 \) 오차 벡터

모델은 다음과 같이 표현됩니다:

\[
\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}
\]

잔차 제곱합은:

\[
S(\boldsymbol{\beta}) = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^\top (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})
\]

이 함수를 \( \boldsymbol{\beta} \)에 대해 미분하고 0으로 놓으면 **정규방정식**(Normal Equation)이 도출됩니다:

\[
\mathbf{X}^\top \mathbf{X} \boldsymbol{\beta} = \mathbf{X}^\top \mathbf{y}
\]

이 방정식의 해는 다음과 같습니다:

\[
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
\]

이 식은 \( \mathbf{X}^\top \mathbf{X} \)가 가역(invertible)일 때만 존재하며, 이는 독립 변수들 사이에 **완전한 다중공선성**(perfect multicollinearity)이 없음을 의미합니다.

---

## 가정 조건

선형 최소 제곱법의 추정값이 통계적으로 타당하려면 다음과 같은 **고전적 회귀 가정**이 필요합니다:

1. **선형성**: 모델은 변수에 대해 선형입니다.
2. **무편향성**(Zero Mean Errors): \( E[\varepsilon_i] = 0 \)
3. **등분산성**(Homoscedasticity): 오차의 분산이 모든 관측치에서 동일합니다.
4. **비자기상관성**(No Autocorrelation): 오차 항들 사이에 상관이 없습니다.
5. **독립 변수와 오차의 독립성**: \( \text{Cov}(x_{ij}, \varepsilon_i) = 0 \)
6. **정규성**(선택적): 오차 항이 정규분포를 따르면 추론(검정, 신뢰구간)이 용이합니다.

이러한 가정이 위반될 경우, 추정값은 여전히 일관성을 가질 수 있으나, 효율성이나 통계적 추론의 타당성이 떨어질 수 있습니다.

---

## 장점과 한계

### 장점
- 계산이 간단하고 해석이 직관적입니다.
- 해가 닫힌 형태(closed-form solution)로 존재하여 수치적 최적화가 필요 없습니다.
- 통계적 성질(불편성, 최소분산 등)이 잘 알려져 있습니다 (가우스-마르코프 정리).

### 한계
- 이상치(outliers)에 민감합니다. 제곱 오차를 최소화하므로 큰 오차가 더 큰 영향을 미칩니다.
- 독립 변수 간의 다중공선성이 높으면 \( \mathbf{X}^\top \mathbf{X} \)가 특이행렬이 되어 해가 불안정해집니다.
- 비선형 관계를 포착하지 못합니다 (비선형 회귀나 다항 회귀로 확장 가능).

---

## 활용 사례

선형 최소 제곱법은 다음과 같은 분야에서 널리 사용됩니다:
- 경제학: 소비 함수, 수요 예측
- 공학: 시스템 모델링, 센서 보정
- 생물학: 성장 모델, 약물 반응 분석
- 기계학습: 선형 회귀 모델의 기초

---

## 참고 자료

- Greene, W. H. (2018). *Econometric Analysis* (8th ed.). Pearson.
- Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2005). *Applied Linear Statistical Models*. McGraw-Hill.
- Wikipedia. "Least squares". [https://en.wikipedia.org/wiki/Least_squares](https://en.wikipedia.org/wiki/Least_squares)

---

## 관련 문서
- [다중 회귀분석](#)
- [가우스-마르코프 정리](#)
- [로지스틱 회귀](#)
- [정규방정식](#)