회귀
회귀(Regression)는 머신러닝 통계학에서 기법 중 하나로 하나 이상의 독립 변수(입력 변수)와 종속 변수(출력 변수) 사이의 관계를 모델링하여 연속 값을 예측하는 데 사용됩니다. 회귀 분석은 데이터의 패턴을 이해하고, 미래의 값을 추정하거나 간의 인과 관계를 탐색하는 데 널리 활용됩니다. 이 문서에서는 회귀 분석의 기본 개념, 주요 유형, 활용 사례, 그리고 모델 평가 방법 등을 체계적으로 설명합니다.
개요
회귀 분석은 주어진 데이터를 바탕으로 변수 간의 관계를 수학적으로 표현하는 통계적 기법입니다. 특히 머신러닝에서는 회귀 모델이 입력 데이터로부터 숫자 값을 예측하는 지도 학습(Supervised Learning)의 한 형태로 분류됩니다. 예를 들어, 주택 가격 예측, 주식 수익률 추정, 기온 변화 예측 등은 모두 회귀 문제의 대표적인 예입니다.
회귀 모델의 목표는 독립 변수 (X)와 종속 변수 (Y) 사이의 함수 관계 (Y = f(X))를 학습하여, 새로운 입력 데이터에 대해 정확한 출력 값을 예측하는 것입니다.
회귀 분석의 주요 유형
회귀는 그 형태와 복잡도에 따라 여러 가지로 분류할 수 있습니다. 아래는 가장 일반적으로 사용되는 회귀 기법들입니다.
1. 선형 회귀 (Linear Regression)
가장 기본적인 회귀 모델로, 독립 변수와 종속 변수 사이의 관계를 직선(또는 초평면)으로 모델링합니다. 단순 선형 회귀는 하나의 독립 변수만을 사용하며, 다중 선형 회귀는 두 개 이상의 독립 변수를 사용합니다.
-
모델 형태:
[
Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_n X_n + \epsilon
]
여기서 (\beta_0)은 절편, (\beta_i)는 회귀 계수, (\epsilon)은 오차 항입니다.
-
특징: 해석이 용이하고 계산이 간단하지만, 비선형 관계를 잘 포착하지 못합니다.
2. 다항 회귀 (Polynomial Regression)
독립 변수의 다항식 형태를 사용하여 비선형 관계를 모델링합니다. 예를 들어, (X^2), (X^3) 등의 항을 추가하여 곡선 형태의 회귀선을 생성합니다.
- 사용 사례: 데이터가 곡선 형태의 경향을 보일 때 유용합니다.
- 주의점: 과적합(Overfitting)이 발생할 수 있으므로 정규화 기법과 함께 사용하는 것이 좋습니다.
3. 릿지 회귀 (Ridge Regression)
선형 회귀에 (L2) 정규화를 적용한 기법으로, 회귀 계수의 크기를 제한하여 과적합을 방지합니다. 특히 독립 변수 간에 다중공선성(Multicollinearity)이 있을 때 효과적입니다.
- 비용 함수:
[
\text{RSS} + \lambda \sum_{j=1}^{p} \beta_j^2
]
여기서 (\lambda)는 정규화 강도를 조절하는 하이퍼파라미터입니다.
4. 라소 회귀 (Lasso Regression)
(L1) 정규화를 사용하는 회귀 기법으로, 일부 회귀 계수를 정확히 0으로 만들어 변수 선택(Feature Selection) 기능을 제공합니다.
- 특징: 모델의 해석성을 높이고, 불필요한 변수를 자동으로 제거할 수 있습니다.
5. 엘라스틱넷 회귀 (Elastic Net)
릿지와 라소 회귀를 결합한 형태로, (L1)과 (L2) 정규화를 동시에 적용합니다. 두 기법의 장점을 동시에 활용할 수 있습니다.
- 비용 함수:
[
\text{RSS} + \lambda_1 \sum |\beta_j| + \lambda_2 \sum \beta_j^2
]
회귀 모델의 평가 지표
회귀 모델의 성능을 평가하기 위해 다음과 같은 지표들이 사용됩니다.
| 지표 |
설명 |
수식 |
| MSE (Mean Squared Error) |
예측값과 실제값의 차이의 제곱의 평균 |
(\frac{1}{n}\sum (y_i - \hat{y}_i)^2) |
| RMSE (Root MSE) |
MSE의 제곱근. 해석이 쉬움 |
(\sqrt{\text{MSE}}) |
| MAE (Mean Absolute Error) |
오차의 절댓값 평균 |
(\frac{1}{n}\sum |y_i - \hat{y}_i|) |
| R² (결정계수) |
모델이 데이터의 분산을 설명하는 비율 |
(1 - \frac{\text{RSS}}{\text{TSS}}) |
- RSS: 잔차 제곱합 (Residual Sum of Squares)
- TSS: 총 제곱합 (Total Sum of Squares)
R²는 1에 가까울수록 모델의 설명력이 높음을 의미하며, 0 이하일 경우 모델이 평균보다 못한 예측을 하고 있음을 나타냅니다.
회귀 분석의 활용 사례
- 금융: 주가 예측, 신용 점수 산정
- 의료: 환자의 혈압 또는 혈당 수치 예측
- 마케팅: 광고 비용 대비 매출 예측
- 기상학: 기온, 강수량 예측
- 부동산: 주택 가격 예측
참고 자료 및 관련 문서
회귀 분석은 머신러닝의 기초이자 핵심 기법으로, 다양한 분야에서 실용적인 가치를 지닙니다. 정확한 모델 선택과 평가를 통해 현실 세계의 복잡한 문제를 수치적으로 해결할 수 있습니다.
# 회귀
회귀(Regression)는 머신러닝 통계학에서 기법 중 하나로 하나 이상의 독립 변수(입력 변수)와 종속 변수(출력 변수) 사이의 관계를 모델링하여 연속 값을 예측하는 데 사용됩니다. 회귀 분석은 데이터의 패턴을 이해하고, 미래의 값을 추정하거나 간의 인과 관계를 탐색하는 데 널리 활용됩니다. 이 문서에서는 회귀 분석의 기본 개념, 주요 유형, 활용 사례, 그리고 모델 평가 방법 등을 체계적으로 설명합니다.
---
## 개요
회귀 분석은 주어진 데이터를 바탕으로 변수 간의 관계를 수학적으로 표현하는 통계적 기법입니다. 특히 머신러닝에서는 회귀 모델이 입력 데이터로부터 숫자 값을 예측하는 **지도 학습**(Supervised Learning)의 한 형태로 분류됩니다. 예를 들어, 주택 가격 예측, 주식 수익률 추정, 기온 변화 예측 등은 모두 회귀 문제의 대표적인 예입니다.
회귀 모델의 목표는 독립 변수 \(X\)와 종속 변수 \(Y\) 사이의 함수 관계 \(Y = f(X)\)를 학습하여, 새로운 입력 데이터에 대해 정확한 출력 값을 예측하는 것입니다.
---
## 회귀 분석의 주요 유형
회귀는 그 형태와 복잡도에 따라 여러 가지로 분류할 수 있습니다. 아래는 가장 일반적으로 사용되는 회귀 기법들입니다.
### 1. 선형 회귀 (Linear Regression)
가장 기본적인 회귀 모델로, 독립 변수와 종속 변수 사이의 관계를 직선(또는 초평면)으로 모델링합니다. 단순 선형 회귀는 하나의 독립 변수만을 사용하며, 다중 선형 회귀는 두 개 이상의 독립 변수를 사용합니다.
- **모델 형태**:
\[
Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_n X_n + \epsilon
\]
여기서 \(\beta_0\)은 절편, \(\beta_i\)는 회귀 계수, \(\epsilon\)은 오차 항입니다.
- **특징**: 해석이 용이하고 계산이 간단하지만, 비선형 관계를 잘 포착하지 못합니다.
### 2. 다항 회귀 (Polynomial Regression)
독립 변수의 다항식 형태를 사용하여 비선형 관계를 모델링합니다. 예를 들어, \(X^2\), \(X^3\) 등의 항을 추가하여 곡선 형태의 회귀선을 생성합니다.
- **사용 사례**: 데이터가 곡선 형태의 경향을 보일 때 유용합니다.
- **주의점**: 과적합(Overfitting)이 발생할 수 있으므로 정규화 기법과 함께 사용하는 것이 좋습니다.
### 3. 릿지 회귀 (Ridge Regression)
선형 회귀에 \(L2\) 정규화를 적용한 기법으로, 회귀 계수의 크기를 제한하여 과적합을 방지합니다. 특히 독립 변수 간에 다중공선성(Multicollinearity)이 있을 때 효과적입니다.
- **비용 함수**:
\[
\text{RSS} + \lambda \sum_{j=1}^{p} \beta_j^2
\]
여기서 \(\lambda\)는 정규화 강도를 조절하는 하이퍼파라미터입니다.
### 4. 라소 회귀 (Lasso Regression)
\(L1\) 정규화를 사용하는 회귀 기법으로, 일부 회귀 계수를 정확히 0으로 만들어 변수 선택(Feature Selection) 기능을 제공합니다.
- **특징**: 모델의 해석성을 높이고, 불필요한 변수를 자동으로 제거할 수 있습니다.
### 5. 엘라스틱넷 회귀 (Elastic Net)
릿지와 라소 회귀를 결합한 형태로, \(L1\)과 \(L2\) 정규화를 동시에 적용합니다. 두 기법의 장점을 동시에 활용할 수 있습니다.
- **비용 함수**:
\[
\text{RSS} + \lambda_1 \sum |\beta_j| + \lambda_2 \sum \beta_j^2
\]
---
## 회귀 모델의 평가 지표
회귀 모델의 성능을 평가하기 위해 다음과 같은 지표들이 사용됩니다.
| 지표 | 설명 | 수식 |
|------|------|------|
| **MSE (Mean Squared Error)** | 예측값과 실제값의 차이의 제곱의 평균 | \(\frac{1}{n}\sum (y_i - \hat{y}_i)^2\) |
| **RMSE (Root MSE)** | MSE의 제곱근. 해석이 쉬움 | \(\sqrt{\text{MSE}}\) |
| **MAE (Mean Absolute Error)** | 오차의 절댓값 평균 | \(\frac{1}{n}\sum \|y_i - \hat{y}_i\|\) |
| **R² (결정계수)** | 모델이 데이터의 분산을 설명하는 비율 | \(1 - \frac{\text{RSS}}{\text{TSS}}\) |
- **RSS**: 잔차 제곱합 (Residual Sum of Squares)
- **TSS**: 총 제곱합 (Total Sum of Squares)
R²는 1에 가까울수록 모델의 설명력이 높음을 의미하며, 0 이하일 경우 모델이 평균보다 못한 예측을 하고 있음을 나타냅니다.
---
## 회귀 분석의 활용 사례
- **금융**: 주가 예측, 신용 점수 산정
- **의료**: 환자의 혈압 또는 혈당 수치 예측
- **마케팅**: 광고 비용 대비 매출 예측
- **기상학**: 기온, 강수량 예측
- **부동산**: 주택 가격 예측
---
## 참고 자료 및 관련 문서
- [Andrew Ng의 머신러닝 강의 (Coursera)](https://www.coursera.org/learn/machine-learning)
- *Introduction to Statistical Learning* – Gareth James et al.
- [Scikit-learn 회귀 모델 문서](https://scikit-learn.org/stable/supervised_learning.html#supervised-learning)
---
회귀 분석은 머신러닝의 기초이자 핵심 기법으로, 다양한 분야에서 실용적인 가치를 지닙니다. 정확한 모델 선택과 평가를 통해 현실 세계의 복잡한 문제를 수치적으로 해결할 수 있습니다.