잔차 제곱합

AI
qwen-3-235b-a22b
작성자
익명
작성일
2025.07.27
조회수
13
버전
v2

📋 문서 버전

이 문서는 2개의 버전이 있습니다. 현재 최신 버전을 보고 있습니다.

잔차 제곱합

개요

잔차 제곱합(Sum of Squared Residuals, SSR)은 회귀 분석에서 모델의 예측값과 실제 관측값 간의 차이를 정량적으로 평가하는 지표입니다. 이 값은 잔차(residual)를 제곱한 후 모든 관측치에 대해 합산한 것으로, 모델의 적합도를 판단하는 핵심 요소입니다. 잔차 제곱합이 작을수록 모델이 데이터에 잘 맞는다는 의미이며, 최소제곱법(Ordinary Least Squares, OLS)은 이 값을 최소화하는 회귀 계수를 추정하는 방법입니다.


수학적 표현

공식

잔차 제곱합은 다음과 같이 정의됩니다:

$$ \text{SSR} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$

  • $ y_i $: 실제 관측값
  • $ \hat{y}_i $: 회귀 모델의 예측값
  • $ n $: 관측치 개수

이 공식에서 잔차 $ e_i = y_i - \hat{y}_i $는 모델의 오차를 나타내며, 제곱하여 양수로 만든 후 모두 더해집니다.

예시

다음 표는 단순 선형 회귀 모델의 잔차 제곱합 계산 예시입니다:

관측치 $ y_i $ $ \hat{y}_i $ 잔차 $ e_i $ 잔차 제곱 $ e_i^2 $
1 2.0 2.5 -0.5 0.25
2 4.0 3.8 +0.2 0.04
3 6.0 6.2 -0.2 0.04
4 8.0 7.5 +0.5 0.25
합계 0.58

이 경우 SSR은 0.58로 계산됩니다.


회귀 분석에서의 중요성

모델 평가

잔차 제곱합은 모델의 예측 정확도를 수치적으로 표현합니다. 예를 들어, 두 모델 A와 B의 SSR이 각각 10과 50이라면 모델 A가 데이터에 더 잘 적합된다고 판단할 수 있습니다. 그러나 SSR은 데이터의 스케일에 따라 값이 달라지기 때문에 표준화된 지표(예: $ R^2 $)와 함께 사용하는 것이 좋습니다.

매개변수 추정

최소제곱법은 회귀 계수를 추정할 때 SSR을 최소화하는 값을 찾습니다. 예를 들어, 단순 선형 회귀 $ y = \beta_0 + \beta_1 x $에서 $\beta_0$, $\beta_1$은 다음 조건을 만족합니다:

$$ \min_{\beta_0, \beta_1} \sum_{i=1}^{n} (y_i - (\beta_0 + \beta_1 x_i))^2 $$

이 최적화 문제는 미분을 통해 해석적으로 해결됩니다.


다른 통계 지표와의 관계

결정 계수 $ R^2 $

잔차 제곱합은 $ R^2 $ 계산에 직접 활용됩니다:

$$ R^2 = 1 - \frac{\text{SSR}}{\text{SST}} $$

  • SST(Total Sum of Squares): 총변동 $ \sum (y_i - \bar{y})^2 $
  • $ R^2 $가 1에 가까울수록 모델의 설명력이 높습니다.

평균 제곱 오차(MSE)

잔차 제곱합을 관측치 수 $ n $으로 나눈 값입니다:

$$ \text{MSE} = \frac{\text{SSR}}{n} $$

MSE는 오차의 평균적인 크기를 나타내며, RMSE(Root Mean Squared Error)는 이의 제곱근입니다.


한계 및 주의사항

과적합(Overfitting)

복잡한 모델은 SSR을 인위적으로 낮출 수 있지만, 이는 훈련 데이터에만 과도하게 적합되어 일반화 성능이 저하될 수 있습니다. 예를 들어, 다항 회귀에서 차수를 높이면 SSR은 감소하지만, 테스트 데이터에서는 성능이 떨어질 수 있습니다.

다른 지표와의 비교

  • AIC/BIC: 모델 복잡도를 패널티로 적용한 정보 기준
  • 교차 검증(Cross-Validation): SSR을 테스트 데이터로 평가하여 일반화 성능 확인

관련 개념 및 참고 자료

관련 개념

  • 회귀 제곱합(Explained Sum of Squares, SSE): $ \sum (\hat{y}_i - \bar{y})^2 $
  • 총제곱합(Total Sum of Squares, SST): $ \sum (y_i - \bar{y})^2 $
  • ANOVA(분산 분석): SSR과 SSE를 활용해 그룹 간 차이를 분석

참고 자료


잔차 제곱합은 통계적 모델링의 기초이자 핵심 지표로, 해석과 활용 시 데이터의 특성과 모델의 복잡도를 종합적으로 고려해야 합니다.

AI 생성 콘텐츠 안내

이 문서는 AI 모델(qwen-3-235b-a22b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

이 AI 생성 콘텐츠가 도움이 되었나요?