# 선형 최소 제곱법

선형 최소 제곱법Linear Least Squares Method은 통계학과 수학에서 가장 널리 사용되는 회귀분 기법 중 하나로, 관측된 데이터에 가장 잘 맞는 선형 모델을 추정하는 데 목적이 있다. 이 방법은 데이터와 모델 예측값 사이의 **잔차 제곱합(Sum of Squared Ress)** 을 최소화함으로써 최적의 회귀 계수를 도출한다. 선형 최소 제곱법은 단순 선형 회귀, 다중 선형 회귀 등 다양한 형태로 응용되며, 과학, 공학, 경제학, 사회과학 등 다양한 분야에서 활용된다.

## 개요

선형 최소 제곱법은 관측 데이터를 기반으로 독립 변수(independent variable)와 종속 변수(dependent variable) 간의 선형 관계를 모델링하는 통계적 기법이다. 이 방법은 다음과 같은 형태의 선형 모델을 가정한다:

\[
y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p + \varepsilon
\]

여기서:
- \( y \): 종속 변수 (반응 변수)
- \( x_1, x_2, \dots, x_p \): 독립 변수 (설명 변수)
- \( \beta_0, \beta_1, \dots, \beta_p \): 추정하고자 하는 회귀 계수
- \( \varepsilon \): 오차 항 (error term), 랜덤한 노이즈를 의미

목표는 오차 항의 제곱합을 최소화하는 계수 \( \beta \) 값을 찾는 것이다. 즉, 다음과 같은 최적화 문제를 푸는 것이다:

\[
\min_{\beta} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = \min_{\beta} \sum_{i=1}^{n} \left( y_i - (\beta_0 + \beta_1 x_{i1} + \cdots + \beta_p x_{ip}) \right)^2
\]

이를 통해 데이터에 가장 잘 맞는 "최적의 직선" 또는 "최적의 평면"을 찾을 수 있다.

## 수학적 기초

### 행렬 표현

선형 최소 제곱법은 행렬을 사용하면 보다 간결하게 표현할 수 있다. 관측치 \( n \)개와 설명 변수 \( p \)개가 있을 때:

- 종속 변수 벡터: \( \mathbf{y} = (y_1, y_2, \dots, y_n)^T \)
- 설계 행렬(design matrix): \( \mathbf{X} \) (크기 \( n \times (p+1) \), 첫 열은 절편을 위해 1로 채워짐)
- 회귀 계수 벡터: \( \boldsymbol{\beta} = (\beta_0, \beta_1, \dots, \beta_p)^T \)
- 오차 벡터: \( \boldsymbol{\varepsilon} = (\varepsilon_1, \dots, \varepsilon_n)^T \)

모델은 다음과 같이 표현된다:

\[
\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}
\]

잔차 제곱합은:

\[
S(\boldsymbol{\beta}) = \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})
\]

이 함수를 \( \boldsymbol{\beta} \)에 대해 최소화하면, 다음과 같은 **정규방정식(Normal Equation)** 을 얻는다:

\[
\mathbf{X}^T \mathbf{X} \boldsymbol{\beta} = \mathbf{X}^T \mathbf{y}
\]

이 방정식의 해는 다음과 같이 주어진다 (단, \( \mathbf{X}^T \mathbf{X} \)가 가역일 경우):

\[
\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}
\]

이 계수 추정값 \( \hat{\boldsymbol{\beta}} \)는 최소 제곱 추정량(Least Squares Estimator)이라 불린다.

## 가정 조건

선형 최소 제곱법이 유효하고 신뢰할 수 있는 추정을 제공하려면 몇 가지 통계적 가정을 만족해야 한다. 이를 **가우스-마르코프 가정(Gauss-Markov Assumptions)** 이라고 하며, 주요 내용은 다음과 같다:

1. **선형성**: 모델은 변수들에 대해 선형이다.
2. **무편향 샘플링**: 오차항의 기대값은 0이다. \( \mathbb{E}[\varepsilon_i] = 0 \)
3. **등분산성(Homoscedasticity)**: 모든 관측치에서 오차의 분산이 동일하다.
4. **비상관계성(No autocorrelation)**: 오차항들 사이에 상관이 없다. \( \text{Cov}(\varepsilon_i, \varepsilon_j) = 0 \) (i ≠ j)
5. **독립 변수의 완전한 계수**: 설계 행렬 \( \mathbf{X} \)는 풀 랭크(full rank)여야 하며, 다중공선성 문제가 없어야 한다.

이러한 가정이 충족되면, 최소 제곱 추정량은 **BLUE**(Best Linear Unbiased Estimator)가 된다.

## 장점과 한계

### 장점
- 계산이 비교적 간단하고 해석이 직관적이다.
- 확률론적 가정 없이도 최적화 기반 추정이 가능하다.
- 해가 닫힌 형태(closed-form solution)로 존재하여 수치적 최적화 없이도 계산 가능하다.

### 한계
- 이상치(outliers)에 민감하다. 제곱 오차를 최소화하므로, 큰 오차를 가진 데이터의 영향을 크게 받는다.
- 비선형 관계가 존재할 경우 적절한 모델링이 어렵다.
- 다중공선성(multicollinearity)이 심할 경우 계수 추정이 불안정해진다.

## 활용 예시

예를 들어, 주택 가격을 예측하는 문제에서 다음과 같은 변수를 사용할 수 있다:
- 독립 변수: 전용 면적, 층수, 연식, 역과의 거리
- 종속 변수: 거래 가격

이 경우 선형 최소 제곱법을 통해 각 변수의 계수를 추정하고, 이를 바탕으로 새로운 주택의 가격을 예측할 수 있다.

## 관련 기법

- **릿지 회귀(Ridge Regression)**: 다중공선성 문제를 해결하기 위해 \( L_2 \) 정규화를 추가한 변형.
- **라쏘 회귀(Lasso Regression)**: \( L_1 \) 정규화를 사용하여 변수 선택 기능을 제공.
- **가중 최소 제곱법(WLS)**: 등분산성 가정이 깨졌을 때, 오차의 분산에 따라 가중치를 부여.

## 참고 자료

- Greene, W. H. (2018). *Econometric Analysis* (8th ed.). Pearson.
- Kutner, M. H., Nachtsheim, C. J., Neter, J., & Li, W. (2005). *Applied Linear Statistical Models* (5th ed.). McGraw-Hill.
- [Wikipedia - Linear Least Squares](https://en.wikipedia.org/wiki/Linear_least_squares)

선형 최소 제곱법은 통계학의 기초이자 핵심 도구로, 현대 데이터 분석의 출발점이라 할 수 있다.