회귀 모델

작성자

익명

작성일

2026.07.26

조회수

버전

회귀 모델 머신러닝 Scikit-learn 비용 함수 경사 하강법 과적합 L1 L2 규제 평가 지표 초급

회귀 모델 (Regression Model)

1. 개요

회귀 모델이란 하나 이상의 독립 변수와 하나의 종속 변수 간의 상관관계를 수학적 함수로 모델링하여, 새로운 입력 값에 대한 연속형 수치(Continuous Value)를 예측하는 머신러닝 알고리즘이다.

2. 회귀 모델의 기본 원리

회귀 분석의 핵심은 입력 데이터($X$)와 출력 데이터($y$) 사이의 관계를 가장 잘 설명하는 최적의 함수를 찾는 것이다.

2.1 기본 개념

가설 함수 (Hypothesis): 입력 변수를 통해 출력 변수를 예측하기 위해 설정한 수학적 식이다. 일반적으로 예측값 $\hat{y}$를 사용하여 $\hat{y} = Wx + b$로 표현한다.
비용 함수 (Cost Function): 모델이 예측한 값과 실제 값의 차이(오차)를 수치화한 함수이다. 회귀 모델에서는 주로 평균 제곱 오차(MSE)를 사용하며, 수식은 다음과 같다. $$\text{Cost}(W, b) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$ 모델 학습의 목표는 이 비용 함수의 값을 최소화하는 가중치($W$)와 편향($b$)을 찾는 것이다.

2.2 변수 및 오차 정의

용어	정의	역할	비고
독립 변수 (Independent Variable)	예측의 근거가 되는 입력 값 ($X$)	원인 제공 변수	특성(Feature)이라고도 함
종속 변수 (Dependent Variable)	예측하고자 하는 결과 값 ($y$)	결과 변수	타겟(Target), 레이블(Label)
오차 (Error/Residual)	실제값과 예측값의 차이 ($y - \hat{y}$)	모델의 정확도 측정 기준	잔차(Residual)라고도 함

3. 주요 회귀 모델의 종류

데이터의 특성과 복잡도에 따라 다양한 회귀 모델이 사용된다.

3.1 모델별 특징 비교

모델명	수식 특징	주요 특징	과적합 방지	실제 활용 사례
단순 선형 회귀	$\hat{y} = Wx + b$	하나의 독립 변수와 종속 변수의 선형 관계 분석	낮음	공부 시간에 따른 성적 예측
다중 선형 회귀	$\hat{y} = \sum_{i=1}^{n} W_ix_i + b$	여러 개의 독립 변수를 사용하여 예측	낮음	집 평수, 위치, 연식에 따른 집값 예측
다항 회귀	$\hat{y} = W_1x + W_2x^2 + ... + b$	독립 변수를 고차항으로 확장하여 곡선 관계 모델링	낮음 (차수 증가 시 위험)	시간에 따른 전염병 확산 추이 예측
릿지 (Ridge)	$\text{MSE} + \lambda \sum_{j=1}^{m} w_j^2$	L2 규제를 적용하여 가중치 크기를 줄임	높음	변수 간 상관관계가 높은 데이터 예측
라쏘 (Lasso)	$\text{MSE} + \lambda \sum_{j=1}^{m} \|w_j\|$	L1 규제를 적용하여 불필요한 변수 가중치를 0으로 만듦	높음 (변수 선택 효과)	중요 변수가 적은 고차원 데이터 분석

4. 모델 학습 및 최적화

모델은 비용 함수를 최소화하는 방향으로 파라미터를 업데이트하며 학습한다.

4.1 최적화 방법

최소제곱법 (Ordinary Least Squares, OLS): 실제값과 예측값의 차이의 제곱 합을 최소화하는 분석 방법으로, 수학적 공식(정규 방정식)을 통해 한 번에 최적해를 구할 수 있다.
경사 하강법 (Gradient Descent): 비용 함수의 기울기(Gradient)를 계산하여 기울기가 낮은 방향으로 가중치를 조금씩 업데이트하는 반복적 최적화 알고리즘이다.

4.2 Python 구현 예제 (Scikit-learn)

from sklearn.linear_model import LinearRegression, Ridge, Lasso
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# 데이터 생성
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([2, 4, 5, 4, 5])

# 데이터 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 모델 생성 및 학습 (선형 회귀)
# Ridge() 또는 Lasso()로 변경하여 규제 적용 가능
model = LinearRegression()
model.fit(X_train, y_train)

# 예측 및 평가
predictions = model.predict(X_test)
mse = mean_squared_error(y_test, predictions)
print(f"Mean Squared Error: {mse}")

5. 모델 평가 지표

회귀 모델의 성능은 예측값($\hat{y}$)과 실제값($y$)의 차이를 측정하는 지표로 평가한다.

MAE (Mean Absolute Error): 오차의 절대값 평균. 직관적이지만 이상치에 둔감하다. $$\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|$$
MSE (Mean Squared Error): 오차 제곱의 평균. 오차가 클수록 패널티가 커지며 미분이 가능해 최적화에 유리하다. $$\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$
RMSE (Root Mean Squared Error): MSE에 루트를 씌운 값. 실제 타겟 변수와 단위가 일치하여 해석이 용이하다. $$\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}$$
$R^2$ (결정계수): 모델이 데이터의 분산을 얼마나 설명하는지를 나타내는 지표 (0~1 사이). 1에 가까울수록 설명력이 높다. $$R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}$$

6. 과적합과 과소적합 해결 방안

모델의 복잡도와 데이터 양의 불균형으로 인해 발생하는 성능 저하 문제를 해결해야 한다.

6.1 과소적합 (Underfitting)

현상: 모델이 너무 단순하여 데이터의 내재된 패턴을 학습하지 못한 상태 (훈련/테스트 데이터 모두 낮은 성능).
해결 방안:
- 더 복잡한 모델 사용 (예: 선형 $\rightarrow$ 다항 회귀).
- 새로운 특성(Feature) 추가 또는 특성 공학(Feature Engineering) 수행.
- 규제(Regularization) 강도 완화.

6.2 과적합 (Overfitting)

현상: 모델이 훈련 데이터의 노이즈까지 과하게 학습하여, 훈련 데이터에 대해서는 매우 높은 성능을 보이지만 새로운 데이터(테스트 데이터)에 대한 일반화 성능이 현저히 떨어지는 상태.
해결 방안:
- 규제 적용: Ridge(L2) 또는 Lasso(L1)를 사용하여 가중치 크기를 제한함으로써 모델의 복잡도를 낮춤.
- 데이터 증강: 더 많은 학습 데이터를 수집하여 모델이 일반적인 패턴을 학습하도록 유도.
- 특성 선택: 불필요하거나 상관관계가 너무 높은 변수를 제거하여 모델 복잡도 감소.
- 교차 검증 (Cross Validation): 데이터를 여러 부분으로 나누어 검증을 반복함으로써 특정 데이터셋에 편향되는 것을 방지.

7. 모델 선택 기준 (Decision Tree)

데이터의 특성에 따라 적절한 회귀 모델을 선택하는 기준은 다음과 같다.

graph TD
    A[회귀 모델 선택] --> B{변수 간 관계가 선형인가?}
    B -- 아니오 --> C[다항 회귀 또는 비선형 모델]
    B -- 예 --> D{독립 변수가 1개인가?}
    D -- 예 --> E[단순 선형 회귀]
    D -- 아니오 --> F{과적합 위험이 있는가?}
    F -- 아니오 --> G[다중 선형 회귀]
    F -- 예 --> H{불필요한 변수가 많은가?}
    H -- 예 --> I[Lasso 회귀]
    H -- 아니오 --> J[Ridge 회귀]

8. 회귀 분석의 가정과 한계

선형 회귀 모델이 통계적으로 유효하기 위해서는 다음과 같은 기본 가정이 충족되어야 한다.

선형성 (Linearity): 독립 변수와 종속 변수 간의 관계가 선형적이어야 한다.
독립성 (Independence): 잔차들 사이에 상관관계가 없어야 한다 (자기상관성 부재).
등분산성 (Homoscedasticity): 오차의 분산이 모든 독립 변수 값에 대해 일정해야 한다.
정규성 (Normality): 오차항이 정규분포를 따라야 한다.

한계점: 실제 데이터는 위 가정들을 완벽히 만족하기 어렵다. 특히 이상치(Outlier)에 매우 민감하며, 변수 간 강한 상관관계가 나타나 모델의 계수 추정이 불안정해지는 다중공선성(Multicollinearity) 문제 발생 시 모델의 신뢰도가 하락할 수 있다.

9. 실제 비즈니스 적용 사례

회귀 모델은 수치 예측이 필요한 다양한 산업 분야에서 활용된다.

부동산 가격 예측: 위치, 면적, 건축 연도 등의 변수를 통해 주택 가격 예측.
수요 예측 (Demand Forecasting): 과거 판매 데이터와 마케팅 비용, 계절성을 분석하여 재고량 결정.
금융 리스크 관리: 고객의 신용 점수, 소득 수준을 바탕으로 대출 한도 및 금리 산정.
마케팅 ROI 분석: 광고 집행 비용(X)에 따른 매출 증대액(y)을 예측하여 최적의 예산 배분.

📝 마크다운 원본

이 문서의 마크다운 원본 내용입니다.

# 회귀 모델 (Regression Model)

## 1. 개요
회귀 모델이란 하나 이상의 독립 변수와 하나의 종속 변수 간의 상관관계를 수학적 함수로 모델링하여, 새로운 입력 값에 대한 연속형 수치(Continuous Value)를 예측하는 머신러닝 알고리즘이다.

## 2. 회귀 모델의 기본 원리
회귀 분석의 핵심은 입력 데이터($X$)와 출력 데이터($y$) 사이의 관계를 가장 잘 설명하는 최적의 함수를 찾는 것이다.

### 2.1 기본 개념
- **가설 함수 (Hypothesis):** 입력 변수를 통해 출력 변수를 예측하기 위해 설정한 수학적 식이다. 일반적으로 예측값 $\hat{y}$를 사용하여 $\hat{y} = Wx + b$로 표현한다.
- **비용 함수 (Cost Function):** 모델이 예측한 값과 실제 값의 차이(오차)를 수치화한 함수이다. 회귀 모델에서는 주로 평균 제곱 오차(MSE)를 사용하며, 수식은 다음과 같다.
  $$\text{Cost}(W, b) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$
  모델 학습의 목표는 이 비용 함수의 값을 최소화하는 가중치($W$)와 편향($b$)을 찾는 것이다.

### 2.2 변수 및 오차 정의
| 용어 | 정의 | 역할 | 비고 |
| :--- | :--- | :--- | :--- |
| **독립 변수 (Independent Variable)** | 예측의 근거가 되는 입력 값 ($X$) | 원인 제공 변수 | 특성(Feature)이라고도 함 |
| **종속 변수 (Dependent Variable)** | 예측하고자 하는 결과 값 ($y$) | 결과 변수 | 타겟(Target), 레이블(Label) |
| **오차 (Error/Residual)** | 실제값과 예측값의 차이 ($y - \hat{y}$) | 모델의 정확도 측정 기준 | 잔차(Residual)라고도 함 |

## 3. 주요 회귀 모델의 종류
데이터의 특성과 복잡도에 따라 다양한 회귀 모델이 사용된다.

### 3.1 모델별 특징 비교
| 모델명 | 수식 특징 | 주요 특징 | 과적합 방지 | 실제 활용 사례 |
| :--- | :--- | :--- | :--- | :--- |
| **단순 선형 회귀** | $\hat{y} = Wx + b$ | 하나의 독립 변수와 종속 변수의 선형 관계 분석 | 낮음 | 공부 시간에 따른 성적 예측 |
| **다중 선형 회귀** | $\hat{y} = \sum_{i=1}^{n} W_ix_i + b$ | 여러 개의 독립 변수를 사용하여 예측 | 낮음 | 집 평수, 위치, 연식에 따른 집값 예측 |
| **다항 회귀** | $\hat{y} = W_1x + W_2x^2 + ... + b$ | 독립 변수를 고차항으로 확장하여 곡선 관계 모델링 | 낮음 (차수 증가 시 위험) | 시간에 따른 전염병 확산 추이 예측 |
| **릿지 (Ridge)** | $\text{MSE} + \lambda \sum_{j=1}^{m} w_j^2$ | L2 규제를 적용하여 가중치 크기를 줄임 | 높음 | 변수 간 상관관계가 높은 데이터 예측 |
| **라쏘 (Lasso)** | $\text{MSE} + \lambda \sum_{j=1}^{m} |w_j|$ | L1 규제를 적용하여 불필요한 변수 가중치를 0으로 만듦 | 높음 (변수 선택 효과) | 중요 변수가 적은 고차원 데이터 분석 |

## 4. 모델 학습 및 최적화
모델은 비용 함수를 최소화하는 방향으로 파라미터를 업데이트하며 학습한다.

### 4.1 최적화 방법
- **최소제곱법 (Ordinary Least Squares, OLS):** 실제값과 예측값의 차이의 제곱 합을 최소화하는 분석 방법으로, 수학적 공식(정규 방정식)을 통해 한 번에 최적해를 구할 수 있다.
- **경사 하강법 (Gradient Descent):** 비용 함수의 기울기(Gradient)를 계산하여 기울기가 낮은 방향으로 가중치를 조금씩 업데이트하는 반복적 최적화 알고리즘이다.

### 4.2 Python 구현 예제 (Scikit-learn)
```python
from sklearn.linear_model import LinearRegression, Ridge, Lasso
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# 데이터 생성
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([2, 4, 5, 4, 5])

# 데이터 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 모델 생성 및 학습 (선형 회귀)
# Ridge() 또는 Lasso()로 변경하여 규제 적용 가능
model = LinearRegression()
model.fit(X_train, y_train)

# 예측 및 평가
predictions = model.predict(X_test)
mse = mean_squared_error(y_test, predictions)
print(f"Mean Squared Error: {mse}")
```

## 5. 모델 평가 지표
회귀 모델의 성능은 예측값($\hat{y}$)과 실제값($y$)의 차이를 측정하는 지표로 평가한다.

- **MAE (Mean Absolute Error):** 오차의 절대값 평균. 직관적이지만 이상치에 둔감하다.
  $$\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|$$
- **MSE (Mean Squared Error):** 오차 제곱의 평균. 오차가 클수록 패널티가 커지며 미분이 가능해 최적화에 유리하다.
  $$\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$
- **RMSE (Root Mean Squared Error):** MSE에 루트를 씌운 값. 실제 타겟 변수와 단위가 일치하여 해석이 용이하다.
  $$\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}$$
- **$R^2$ (결정계수):** 모델이 데이터의 분산을 얼마나 설명하는지를 나타내는 지표 (0~1 사이). 1에 가까울수록 설명력이 높다.
  $$R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}$$

## 6. 과적합과 과소적합 해결 방안
모델의 복잡도와 데이터 양의 불균형으로 인해 발생하는 성능 저하 문제를 해결해야 한다.

### 6.1 과소적합 (Underfitting)
- **현상:** 모델이 너무 단순하여 데이터의 내재된 패턴을 학습하지 못한 상태 (훈련/테스트 데이터 모두 낮은 성능).
- **해결 방안:**
    - 더 복잡한 모델 사용 (예: 선형 $\rightarrow$ 다항 회귀).
    - 새로운 특성(Feature) 추가 또는 특성 공학(Feature Engineering) 수행.
    - 규제(Regularization) 강도 완화.

### 6.2 과적합 (Overfitting)
- **현상:** 모델이 훈련 데이터의 노이즈까지 과하게 학습하여, 훈련 데이터에 대해서는 매우 높은 성능을 보이지만 새로운 데이터(테스트 데이터)에 대한 일반화 성능이 현저히 떨어지는 상태.
- **해결 방안:**
    - **규제 적용:** Ridge(L2) 또는 Lasso(L1)를 사용하여 가중치 크기를 제한함으로써 모델의 복잡도를 낮춤.
    - **데이터 증강:** 더 많은 학습 데이터를 수집하여 모델이 일반적인 패턴을 학습하도록 유도.
    - **특성 선택:** 불필요하거나 상관관계가 너무 높은 변수를 제거하여 모델 복잡도 감소.
    - **교차 검증 (Cross Validation):** 데이터를 여러 부분으로 나누어 검증을 반복함으로써 특정 데이터셋에 편향되는 것을 방지.

## 7. 모델 선택 기준 (Decision Tree)
데이터의 특성에 따라 적절한 회귀 모델을 선택하는 기준은 다음과 같다.

```mermaid
graph TD
    A[회귀 모델 선택] --> B{변수 간 관계가 선형인가?}
    B -- 아니오 --> C[다항 회귀 또는 비선형 모델]
    B -- 예 --> D{독립 변수가 1개인가?}
    D -- 예 --> E[단순 선형 회귀]
    D -- 아니오 --> F{과적합 위험이 있는가?}
    F -- 아니오 --> G[다중 선형 회귀]
    F -- 예 --> H{불필요한 변수가 많은가?}
    H -- 예 --> I[Lasso 회귀]
    H -- 아니오 --> J[Ridge 회귀]
```

## 8. 회귀 분석의 가정과 한계
선형 회귀 모델이 통계적으로 유효하기 위해서는 다음과 같은 기본 가정이 충족되어야 한다.

1. **선형성 (Linearity):** 독립 변수와 종속 변수 간의 관계가 선형적이어야 한다.
2. **독립성 (Independence):** 잔차들 사이에 상관관계가 없어야 한다 (자기상관성 부재).
3. **등분산성 (Homoscedasticity):** 오차의 분산이 모든 독립 변수 값에 대해 일정해야 한다.
4. **정규성 (Normality):** 오차항이 정규분포를 따라야 한다.

**한계점:** 실제 데이터는 위 가정들을 완벽히 만족하기 어렵다. 특히 이상치(Outlier)에 매우 민감하며, 변수 간 강한 상관관계가 나타나 모델의 계수 추정이 불안정해지는 **다중공선성(Multicollinearity)** 문제 발생 시 모델의 신뢰도가 하락할 수 있다.

## 9. 실제 비즈니스 적용 사례
회귀 모델은 수치 예측이 필요한 다양한 산업 분야에서 활용된다.

- **부동산 가격 예측:** 위치, 면적, 건축 연도 등의 변수를 통해 주택 가격 예측.
- **수요 예측 (Demand Forecasting):** 과거 판매 데이터와 마케팅 비용, 계절성을 분석하여 재고량 결정.
- **금융 리스크 관리:** 고객의 신용 점수, 소득 수준을 바탕으로 대출 한도 및 금리 산정.
- **마케팅 ROI 분석:** 광고 집행 비용(X)에 따른 매출 증대액(y)을 예측하여 최적의 예산 배분.

AI 생성 콘텐츠 안내

이 문서는 AI 모델(gemma-4-31b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

위키너와나