최소 제곱법
📋 문서 버전
이 문서는 7개의 버전이 있습니다. 현재 최신 버전을 보고 있습니다.
최소 제곱법
개요
최소 제곱법(Least Squares Method)은 통계학과 데이터 분석에서 널리 사용되는 수학적 기법으로,측된 데이터와델의 예측값 사이의 오차를 최소화 방식으로 모델의 매개변수를 추정하는 방법이다. 특히 회귀분석**(Regression Analysis)에서 독립변수와 종속변수 간의 관계를 설명하기 위한 직선(또는 곡선)을 찾는 데 핵심적인 역할을 한다.
이 방법은 18세기 말 카를 프리드리히 가우스와 아들리앵마리 르장드르에 의해 독립적으로 개발되었으며, 천체의 궤도 예측과 같은 과학적 문제에서 처음 활용되었다. 오늘날에는 경제학, 공학, 생물학, 사회과학 등 다양한 분야에서 데이터를 모델링하고 예측하는 데 사용된다.
최소 제곱법의 핵심 아이디어는, 오차의 제곱합(Sum of Squared Errors, SSE)을 최소화함으로써 가장 적합한 모델을 찾는 것이다. 제곱을 사용하는 이유는 음의 오차와 양의 오차가 서로 상쇄되는 것을 방지하고, 큰 오차에 더 많은 가중치를 두기 위해서이다.
원리와 수학적 기초
오차의 정의
회귀분석에서 주어진 데이터 점 $(x_i, y_i)$에 대해, 모델이 예측한 값은 $\hat{y}_i = f(x_i)$이다. 이때 잔차(residual)는 다음과 같이 정의된다:
$$ e_i = y_i - \hat{y}_i $$
최소 제곱법은 이 잔차의 제곱합을 최소화하는 것을 목표로 한다:
$$ SSE = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$
단순 선형 회귀에서의 적용
가장 일반적인 형태는 단순 선형 회귀(Simple Linear Regression)로, 종속변수 $y$와 하나의 독립변수 $x$ 사이의 관계를 직선으로 모델링하는 경우이다. 이 모델은 다음과 같이 표현된다:
$$ \hat{y} = \beta_0 + \beta_1 x $$
여기서: - $\beta_0$: 절편 (intercept) - $\beta_1$: 기울기 (slope)
최소 제곱법을 통해 $\beta_0$와 $\beta_1$을 추정하기 위해, SSE를 각 계수에 대해 편미분한 후 0으로 만드는 조건을 사용한다. 이를 통해 다음과 같은 정규방정식(Normal Equations)을 도출할 수 있다:
$$ \beta_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2}, \quad \beta_0 = \bar{y} - \beta_1 \bar{x} $$
여기서 $\bar{x}$와 $\bar{y}$는 각각 $x$와 $y$의 평균값이다.
종류와 확장
1. 다중 회귀분석에서의 최소 제곱법
독립변수가 여러 개인 경우, 다중 선형 회귀(Multiple Linear Regression)가 사용된다. 모델은 다음과 같다:
$$ \hat{y} = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p $$
이 경우에도 최소 제곱법이 적용되며, 행렬 형태로 표현하면:
$$ \boldsymbol{\hat{y}} = \mathbf{X}\boldsymbol{\beta} $$
여기서 $\mathbf{X}$는 독립변수의 설계행렬(design matrix), $\boldsymbol{\beta}$는 계수 벡터이다. 최소 제곱 추정량은 다음과 같이 계산된다:
$$ \boldsymbol{\hat{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y} $$
이 식은 정규방정식(Normal Equation)이라고도 한다.
2. 가중 최소 제곱법 (Weighted Least Squares)
오차의 분산이 동일하지 않은 경우(이분산성), 각 데이터 점에 가중치를 부여하여 더 정확한 추정을 하는 방법이다. 가중치는 오차의 분산에 반비례하게 설정된다.
3. 일반화 최소 제곱법 (Generalized Least Squares)
오차항이 상관관계를 가지거나 분산이 일정하지 않은 경우 사용되며, 공분산 구조를 고려하여 추정한다.
가정과 제한점
최소 제곱법은 다음과 같은 통계적 가정을 바탕으로 한다: - 선형성: 변수 간의 관계가 선형이다. - 독립성: 오차항은 서로 독립적이다. - 등분산성(Homoscedasticity): 오차의 분산이 일정하다. - 정규성: 오차항은 정규분포를 따른다 (특히 추론 시 필요).
이러한 가정이 만족되지 않으면 추정 결과가 편향되거나 신뢰구간이 부정확해질 수 있다.
또한, 최소 제곱법은 이상치(outliers)에 민감하다는 단점이 있다. 제곱 오차를 최소화하기 때문에, 한두 개의 큰 오차가 전체 결과에 큰 영향을 미칠 수 있다. 이 문제를 해결하기 위해 로버스트 회귀(Robust Regression) 기법이 사용되기도 한다.
활용 사례
- 경제학: 소비와 소득 간의 관계 분석
- 공학: 센서 데이터의 보정
- 의학: 약물 복용량과 반응 간의 상관관계 모델링
- 기계학습: 선형 회귀 모델의 학습 기반
관련 문서 및 참고 자료
참고 문헌: - Kutner, M. H., et al. (2005). Applied Linear Statistical Models. McGraw-Hill. - Montgomery, D. C., et al. (2012). Introduction to Linear Regression Analysis. Wiley.
최소 제곱법은 단순하면서도 강력한 통계 기법으로, 데이터 기반 의사결정의 기초를 형성한다.
이 문서는 AI 모델(qwen-3-235b-a22b-instruct-2507)에 의해 생성된 콘텐츠입니다.
주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.