독립변수
개요
독립변수(independent variable)는 통계학, 특히 회귀분석에서 중요한 개념 중 하나로, 어떤 결과나 현상에 영향을 미칠 수 있다고 가정되는 변수를 의미한다. 독립변수는 종속변수(dependent variable)의 변화를 설명하거나 예측하는 데 사용되며, 실험이나 관찰 연구에서 연구자가 조작하거나 통제할 수 있는 변수로 정의되기도 한다. 예를 들어, "비료의 양이 식물의 성장에 미치는 영향"을 연구할 때, 비료의 양이 독립변수에 해당한다.
이 문서에서는 독립변수의 정의, 종류, 회귀분석에서의 역할, 선택 기준, 그리고 주의사항에 대해 다룬다.
독립변수의 정의와 특성
정의
독립변수는 결과를 설명하기 위해 사용되는 입력 변수(predictor variable, explanatory variable)로, 종속변수의 변화를 유도할 가능성이 있는 요인이다. 수학적으로는 일반적으로 $ X $로 표기되며, 회귀모형에서 다음과 같은 형태로 나타난다:
$$
Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \varepsilon
$$
여기서 $ X_1, X_2, \dots $는 독립변수이며, $ Y $는 종속변수, $ \beta $는 회귀계수, $ \varepsilon $는 오차항이다.
주요 특성
- 원인 변수(Causal variable): 종속변수에 영향을 주는 원인으로 간주될 수 있다 (단, 상관관계와 인과관계를 혼동해서는 안 됨).
- 조작 가능: 실험 설계에서는 연구자가 직접 조절할 수 있다.
- 예측력: 모델의 설명력을 높이기 위해 적절한 독립변수 선택이 중요하다.
회귀분석에서의 독립변수
-
단순회귀분석(Simple Linear Regression): 하나의 독립변수를 사용하여 종속변수를 예측한다.
예: $ \text{시험 점수} = \beta_0 + \beta_1 \times \text{공부 시간} $
-
다중회귀분석(Multiple Regression): 두 개 이상의 독립변수를 사용하여 종속변수를 설명한다.
예: $ \text{주택 가격} = \beta_0 + \beta_1 \times \text{면적} + \beta_2 \times \text{연식} + \beta_3 \times \text{지하철 거리} $
독립변수의 종류
| 유형 |
설명 |
예시 |
| 연속형(Continuous) |
실수값을 가지는 변수 |
키, 체중, 온도 |
| 범주형(Categorical) |
특정 범주에 속하는 변수 |
성별(남/여), 지역(서울/부산/대구), 학력 |
| 이진형(Binary) |
두 개의 범주만 가지는 특수한 범주형 변수 |
성별, 통과/불합격 |
| 더미 변수(Dummy Variable) |
범주형 변수를 회귀분석에 사용하기 위해 변환한 0/1 변수 |
지역: 서울=1, 그 외=0 |
독립변수의 선택과 평가
변수 선택 방법
적절한 독립변수를 선택하는 것은 모델의 성능과 해석 가능성을 좌우한다. 주요 방법은 다음과 같다:
- 이론 기반 선택: 기존 연구나 이론을 바탕으로 변수를 선정.
- 단계적 회귀(Stepwise Regression): AIC, BIC 등 정보 기준을 기반으로 자동으로 변수를 추가/제거.
- LASSO 회귀: 변수 선택과 정규화를 동시에 수행하여 과적합 방지.
- 상관관계 분석: 종속변수와 높은 상관관계를 가지는 변수를 우선 고려.
두 개 이상의 독립변수가 서로 강한 상관관계를 가질 경우 다중공선성(Multicollinearity) 문제가 발생할 수 있다. 이는 회귀계수의 추정이 불안정해지고 해석이 어려워지는 원인이 된다. 진단 방법으로는 VIF(Variance Inflation Factor)가 있으며, 일반적으로 VIF > 10이면 다중공선성이 심각하다고 판단한다.
주의사항
-
상관관계 ≠ 인과관계: 독립변수와 종속변수 간의 상관관계가 있다고 해서 반드시 인과관계가 있는 것은 아니다. 예를 들어, 아이스크림 판매량과 수영장 사고 건수는 모두 기온과 관련되어 있어 서로 상관관계가 있지만, 직접적인 인과관계는 없다.
-
유의미한 변수 포함: 통계적으로 유의미하지 않거나 이론적으로 타당하지 않은 변수는 모델에서 제외하는 것이 바람직하다.
-
외생성(Exogeneity): 이상적인 독립변수는 오차항과 상관이 없어야 한다. 내생성 문제가 발생하면 회귀계수 추정에 편향이 생길 수 있다.
관련 개념
- 종속변수(Dependent Variable): 독립변수에 의해 영향을 받는 결과 변수.
- 조절변수(Moderator Variable): 독립변수와 종속변수 간의 관계를 강화하거나 약화시키는 변수.
- 매개변수(Mediator Variable): 독립변수가 종속변수에 미치는 영향의 경로를 설명하는 변수.
실험 설계 관점의 변수 세분화
실험 설계(Experimental Design)에서는 독립변수가 모델 내에서 수행하는 역할에 따라 다음과 같이 세분화하여 관리한다.
- 처치 변수(Treatment Variable): 연구자가 의도적으로 조작하여 종속변수에 미치는 영향을 관찰하고자 하는 핵심 독립변수이다. (예: 신약 투여 여부, 교육 방법의 차이)
- 통제 변수(Control Variable): 종속변수에 영향을 줄 수 있지만, 연구의 주된 관심 대상은 아닌 변수들이다. 이 변수들을 일정하게 유지하거나 모델에 포함함으로써 처치 변수의 순수한 효과를 분리해낼 수 있다. (예: 연령, 성별, 소득 수준 등 외생적 요인)
범주형 변수의 고급 처리 기법
단순한 더미 변수 생성 외에도 데이터의 특성에 따라 다음과 같은 인코딩 방식을 적용한다.
- 원-핫 인코딩(One-Hot Encoding): 범주 간의 순서나 우선순위가 없을 때 사용한다. 각 범주를 독립된 열로 만들고 해당되는 범주에만 1, 나머지는 0을 부여한다. (예: 혈액형 A, B, O, AB)
- 순서형 변수 처리(Ordinal Encoding): 범주 간에 명확한 서열이나 단계가 존재할 때 사용한다. 범주에 정수 값을 부여하여 순서 정보를 보존한다. (예: 학력 $\rightarrow$ 초졸(1), 중졸(2), 고졸(3), 대졸(4))
독립변수의 변환과 가공
독립변수와 종속변수의 관계가 비선형적이거나 데이터의 분포가 왜곡된 경우, 변수 변환을 통해 모델의 성능을 개선할 수 있다.
변환 기법 및 적용 사례
| 변환 기법 |
목적 및 특징 |
적용 사례 |
| 로그 변환(Log Transform) |
우측으로 치우친(Right-skewed) 분포를 정규분포에 가깝게 변환, 지수적 증가 관계를 선형으로 변환 |
소득 수준, 인구 수, 주가 데이터 |
| 제곱근 변환(Square Root) |
포아송 분포를 따르는 데이터의 분산을 안정화 |
특정 시간당 사고 발생 건수, 결함 수 |
| 상호작용 항(Interaction Term) |
두 독립변수가 결합하여 종속변수에 미치는 시너지 또는 상쇄 효과를 포착 ($X_1 \times X_2$) |
교육 수준과 경력이 연봉에 미치는 복합적 영향 |
| 다항 변환(Polynomial) |
변수 간의 곡선 관계(U자형 등)를 모델링하기 위해 변수를 제곱 또는 세제곱함 |
연령과 인지 능력의 비선형적 관계 |
머신러닝에서의 독립변수(특성 공학)
머신러닝에서는 독립변수를 특성(Feature)이라고 부르며, 원본 데이터로부터 모델의 예측 성능을 극대화할 수 있는 최적의 특성을 생성하고 선택하는 과정을 특성 공학(Feature Engineering)이라 한다.
| 구분 |
특성 선택 (Feature Selection) |
특성 추출 (Feature Extraction) |
| 개념 |
기존 변수 중 가장 유용한 일부만 선택 |
기존 변수들을 조합해 새로운 변수를 생성 |
| 특징 |
원래 변수의 의미가 그대로 유지됨 |
원래 변수의 의미가 변형됨 (해석력 감소) |
| 방법 |
필터 방식, 래퍼 방식, 임베디드 방식 |
PCA(주성분 분석), LDA, Autoencoder |
| 목적 |
차원 축소, 과적합 방지, 모델 단순화 |
정보 손실 최소화 및 데이터 압축 |
누락된 변수 편향 (Omitted Variable Bias)
누락된 변수 편향(OVB)이란 종속변수에 영향을 미치는 중요한 독립변수가 모델에서 제외되었을 때, 모델에 포함된 다른 독립변수의 회귀계수가 왜곡되어 추정되는 현상을 말한다.
수식 예시
실제 모델이 다음과 같다고 가정하자:
$$ Y = \beta_1 X_1 + \beta_2 X_2 + \varepsilon $$
여기서 중요한 변수인 $X_2$를 누락하고 $X_1$만으로 회귀분석을 수행하면, 추정된 계수 $\hat{\beta}_1$은 다음과 같이 나타난다:
$$ E[\hat{\beta}_1] = \beta_1 + \beta_2 \frac{\text{Cov}(X_1, X_2)}{\text{Var}(X_1)} $$
이때 $\hat{\beta}_1$이 실제 값 $\beta_1$과 일치하기 위해서는 다음 두 조건 중 하나를 만족해야 한다:
1. 누락된 변수 $X_2$가 종속변수 $Y$에 영향을 주지 않아야 함 ($\beta_2 = 0$)
2. 누락된 변수 $X_2$와 포함된 변수 $X_1$ 사이에 상관관계가 없어야 함 ($\text{Cov}(X_1, X_2) = 0$)
만약 두 조건 모두 만족하지 못한다면, $\hat{\beta}_1$은 편향(Bias)을 가지게 되어 잘못된 인과관계 해석으로 이어질 수 있다.
독립변수의 측정 수준과 척도
독립변수는 측정 방식에 따라 네 가지 척도로 분류되며, 척도의 수준에 따라 적용 가능한 통계 분석 기법이 달라진다.
| 척도 수준 |
특징 |
예시 |
적용 가능한 분석 기법 |
| 명목 척도 (Nominal) |
단순 분류, 순서나 크기 의미 없음 |
성별, 혈액형, 종교 |
교차분석 ($\chi^2$ 검정), 로지스틱 회귀 |
| 서열 척도 (Ordinal) |
분류 + 순위 존재, 간격은 일정치 않음 |
학력, 만족도(5점 척도), 계급 |
상관분석(Spearman), 비모수 검정 |
| 등간 척도 (Interval) |
순위 + 간격 일정, 절대 0점 없음 |
온도($^\circ\text{C}$), 지능지수(IQ) |
t-검정, ANOVA, 선형 회귀분석 |
| 비율 척도 (Ratio) |
간격 일정 + 절대 0점 존재, 비율 계산 가능 |
키, 몸무게, 소득, 시간 |
모든 통계 분석 기법 적용 가능 |
정규화 기법을 통한 변수 선택: Ridge와 LASSO
현대적인 통계 모델링에서는 과적합(Overfitting)을 방지하고 변수 선택의 효율성을 높이기 위해 L2 정규화(Ridge)와 L1 정규화(LASSO) 기법을 사용한다.
Ridge vs LASSO 비교
| 구분 |
Ridge 회귀 (L2 Regularization) |
LASSO 회귀 (L1 Regularization) |
| 패널티 항 |
계수의 제곱합 ($\sum \beta^2$) |
계수의 절대값 합 ($\sum |\beta|$) |
| 계수 처리 |
계수를 0에 가깝게 축소 (Shrinkage) |
중요하지 않은 계수를 정확히 0으로 만듦 |
| 변수 선택 |
모든 변수를 유지하며 영향력 조절 |
불필요한 변수를 제거하여 자동 변수 선택 수행 |
| 주요 용도 |
다중공선성이 심한 데이터셋 |
변수가 매우 많아 희소(Sparse) 모델이 필요할 때 |
관찰 연구에서의 독립변수 취급
실험 연구에서는 연구자가 독립변수를 직접 조작(Manipulation)할 수 있으나, 관찰 연구(Observational Study)에서는 이미 발생한 데이터를 수집하므로 조작이 불가능하다. 따라서 관찰 연구에서의 독립변수는 다음과 같이 취급된다.
- 사후적 정의: 연구자가 변수를 설정하여 투입하는 것이 아니라, 수집된 데이터 중 종속변수에 영향을 주었을 것으로 추정되는 변수를 독립변수로 지정한다.
- 선택 편향(Selection Bias) 제어: 조작이 불가능하므로, 독립변수와 종속변수 모두에 영향을 주는 제3의 변수(교란변수)를 통제하기 위해 성향 점수 매칭(Propensity Score Matching) 등의 기법을 활용한다.
내생성(Endogeneity) 유발 원인과 사례
독립변수가 오차항과 상관관계를 갖게 되는 내생성 문제는 추정치의 편향을 초래한다. 주요 유발 원인과 구체적 사례는 다음과 같다.
- 역인과관계 (Reverse Causality)
- 원인: 독립변수가 종속변수에 영향을 주는 것이 아니라, 종속변수가 독립변수에 영향을 주는 경우.
-
사례: '경찰관 수($X$)'가 '범죄율($Y$)'을 낮춘다고 분석했으나, 실제로는 '범죄율이 높은 지역($Y$)'에 '경찰관을 더 많이 배치($X$)'한 경우.
-
누락된 변수 (Omitted Variable)
- 원인: 종속변수와 독립변수 모두에 영향을 미치는 중요한 변수가 모델에서 제외된 경우.
-
사례: '교육 수준($X$)'이 '임금($Y$)'에 미치는 영향을 분석할 때, 개인의 '타고난 능력($Z$)'을 통제하지 않은 경우. (능력이 좋은 사람이 교육도 많이 받고 임금도 높을 가능성이 큼)
-
측정 오차 (Measurement Error)
- 원인: 독립변수를 측정하는 과정에서 오류가 발생하여 실제 값과 차이가 나는 경우.
- 사례: 설문조사에서 '월평균 지출액($X$)'을 응답자의 기억에 의존해 수집했을 때, 실제 지출액과 응답값 사이에 오차가 발생하는 경우.
인과 추론을 위한 독립변수 설정 전략
단순한 상관관계를 넘어 인과관계를 규명하기 위해 다음과 같은 전략적 접근을 사용한다.
무작위 배정 (Randomization)
연구 대상자를 독립변수의 처치 집단과 통제 집단에 무작위로 할당함으로써, 관찰되지 않은 모든 교란변수를 두 집단 간에 균등하게 배분한다. 이를 통해 독립변수 외의 다른 요인을 제거하고 순수한 인과효과를 측정할 수 있다.
도구 변수 (Instrumental Variable, IV)
내생성 문제가 있는 독립변수 $X$ 대신, 다음 두 조건을 만족하는 도구 변수 $Z$를 활용한다.
1. 관련성 (Relevance): 도구 변수 $Z$는 독립변수 $X$와 강한 상관관계가 있어야 한다.
2. 외생성 (Exogeneity): 도구 변수 $Z$는 종속변수 $Y$에 직접 영향을 주지 않으며, 오직 $X$를 통해서만 $Y$에 영향을 주어야 한다. (오차항과 상관관계가 없어야 함)
참고 자료
- Wooldridge, J. M. (2019). Introductory Econometrics: A Modern Approach. Cengage Learning.
- James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An Introduction to Statistical Learning. Springer.
- 한국통계진흥원. (2020). 기초통계학 개론.
이 문서는 통계학 학습 및 연구를 위한 참고 자료로 활용할 수 있습니다. 실제 분석 시에는 데이터 특성과 연구 목적에 맞는 변수 선택과 모델 설계가 필요합니다.
# 독립변수
## 개요
**독립변수**(independent variable)는 통계학, 특히 회귀분석에서 중요한 개념 중 하나로, 어떤 결과나 현상에 영향을 미칠 수 있다고 가정되는 변수를 의미한다. 독립변수는 종속변수(dependent variable)의 변화를 설명하거나 예측하는 데 사용되며, 실험이나 관찰 연구에서 연구자가 조작하거나 통제할 수 있는 변수로 정의되기도 한다. 예를 들어, "비료의 양이 식물의 성장에 미치는 영향"을 연구할 때, **비료의 양**이 독립변수에 해당한다.
이 문서에서는 독립변수의 정의, 종류, 회귀분석에서의 역할, 선택 기준, 그리고 주의사항에 대해 다룬다.
---
## 독립변수의 정의와 특성
### 정의
독립변수는 **결과를 설명하기 위해 사용되는 입력 변수**(predictor variable, explanatory variable)로, 종속변수의 변화를 유도할 가능성이 있는 요인이다. 수학적으로는 일반적으로 $ X $로 표기되며, 회귀모형에서 다음과 같은 형태로 나타난다:
$$
Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \varepsilon
$$
여기서 $ X_1, X_2, \dots $는 독립변수이며, $ Y $는 종속변수, $ \beta $는 회귀계수, $ \varepsilon $는 오차항이다.
### 주요 특성
- **원인 변수**(Causal variable): 종속변수에 영향을 주는 원인으로 간주될 수 있다 (단, 상관관계와 인과관계를 혼동해서는 안 됨).
- **조작 가능**: 실험 설계에서는 연구자가 직접 조절할 수 있다.
- **예측력**: 모델의 설명력을 높이기 위해 적절한 독립변수 선택이 중요하다.
---
## 회귀분석에서의 독립변수
### 단순회귀분석과 다중회귀분석
- **단순회귀분석**(Simple Linear Regression): 하나의 독립변수를 사용하여 종속변수를 예측한다.
예: $ \text{시험 점수} = \beta_0 + \beta_1 \times \text{공부 시간} $
- **다중회귀분석**(Multiple Regression): 두 개 이상의 독립변수를 사용하여 종속변수를 설명한다.
예: $ \text{주택 가격} = \beta_0 + \beta_1 \times \text{면적} + \beta_2 \times \text{연식} + \beta_3 \times \text{지하철 거리} $
### 독립변수의 종류
| 유형 | 설명 | 예시 |
|------|------|------|
| **연속형**(Continuous) | 실수값을 가지는 변수 | 키, 체중, 온도 |
| **범주형**(Categorical) | 특정 범주에 속하는 변수 | 성별(남/여), 지역(서울/부산/대구), 학력 |
| **이진형**(Binary) | 두 개의 범주만 가지는 특수한 범주형 변수 | 성별, 통과/불합격 |
| **더미 변수**(Dummy Variable) | 범주형 변수를 회귀분석에 사용하기 위해 변환한 0/1 변수 | 지역: 서울=1, 그 외=0 |
---
## 독립변수의 선택과 평가
### 변수 선택 방법
적절한 독립변수를 선택하는 것은 모델의 성능과 해석 가능성을 좌우한다. 주요 방법은 다음과 같다:
- **이론 기반 선택**: 기존 연구나 이론을 바탕으로 변수를 선정.
- **단계적 회귀**(Stepwise Regression): AIC, BIC 등 정보 기준을 기반으로 자동으로 변수를 추가/제거.
- **LASSO 회귀**: 변수 선택과 정규화를 동시에 수행하여 과적합 방지.
- **상관관계 분석**: 종속변수와 높은 상관관계를 가지는 변수를 우선 고려.
### 다중공선성 문제
두 개 이상의 독립변수가 서로 강한 상관관계를 가질 경우 **다중공선성**(Multicollinearity) 문제가 발생할 수 있다. 이는 회귀계수의 추정이 불안정해지고 해석이 어려워지는 원인이 된다. 진단 방법으로는 **VIF**(Variance Inflation Factor)가 있으며, 일반적으로 VIF > 10이면 다중공선성이 심각하다고 판단한다.
---
## 주의사항
1. **상관관계 ≠ 인과관계**: 독립변수와 종속변수 간의 상관관계가 있다고 해서 반드시 인과관계가 있는 것은 아니다. 예를 들어, 아이스크림 판매량과 수영장 사고 건수는 모두 기온과 관련되어 있어 서로 상관관계가 있지만, 직접적인 인과관계는 없다.
2. **유의미한 변수 포함**: 통계적으로 유의미하지 않거나 이론적으로 타당하지 않은 변수는 모델에서 제외하는 것이 바람직하다.
3. **외생성**(Exogeneity): 이상적인 독립변수는 오차항과 상관이 없어야 한다. 내생성 문제가 발생하면 회귀계수 추정에 편향이 생길 수 있다.
---
## 관련 개념
- **종속변수**(Dependent Variable): 독립변수에 의해 영향을 받는 결과 변수.
- **조절변수**(Moderator Variable): 독립변수와 종속변수 간의 관계를 강화하거나 약화시키는 변수.
- **매개변수**(Mediator Variable): 독립변수가 종속변수에 미치는 영향의 경로를 설명하는 변수.
---
## 실험 설계 관점의 변수 세분화
실험 설계(Experimental Design)에서는 독립변수가 모델 내에서 수행하는 역할에 따라 다음과 같이 세분화하여 관리한다.
* **처치 변수(Treatment Variable)**: 연구자가 의도적으로 조작하여 종속변수에 미치는 영향을 관찰하고자 하는 핵심 독립변수이다. (예: 신약 투여 여부, 교육 방법의 차이)
* **통제 변수(Control Variable)**: 종속변수에 영향을 줄 수 있지만, 연구의 주된 관심 대상은 아닌 변수들이다. 이 변수들을 일정하게 유지하거나 모델에 포함함으로써 처치 변수의 순수한 효과를 분리해낼 수 있다. (예: 연령, 성별, 소득 수준 등 외생적 요인)
## 범주형 변수의 고급 처리 기법
단순한 더미 변수 생성 외에도 데이터의 특성에 따라 다음과 같은 인코딩 방식을 적용한다.
* **원-핫 인코딩(One-Hot Encoding)**: 범주 간의 순서나 우선순위가 없을 때 사용한다. 각 범주를 독립된 열로 만들고 해당되는 범주에만 1, 나머지는 0을 부여한다. (예: 혈액형 A, B, O, AB)
* **순서형 변수 처리(Ordinal Encoding)**: 범주 간에 명확한 서열이나 단계가 존재할 때 사용한다. 범주에 정수 값을 부여하여 순서 정보를 보존한다. (예: 학력 $\rightarrow$ 초졸(1), 중졸(2), 고졸(3), 대졸(4))
## 독립변수의 변환과 가공
독립변수와 종속변수의 관계가 비선형적이거나 데이터의 분포가 왜곡된 경우, 변수 변환을 통해 모델의 성능을 개선할 수 있다.
### 변환 기법 및 적용 사례
| 변환 기법 | 목적 및 특징 | 적용 사례 |
| :--- | :--- | :--- |
| **로그 변환(Log Transform)** | 우측으로 치우친(Right-skewed) 분포를 정규분포에 가깝게 변환, 지수적 증가 관계를 선형으로 변환 | 소득 수준, 인구 수, 주가 데이터 |
| **제곱근 변환(Square Root)** | 포아송 분포를 따르는 데이터의 분산을 안정화 | 특정 시간당 사고 발생 건수, 결함 수 |
| **상호작용 항(Interaction Term)** | 두 독립변수가 결합하여 종속변수에 미치는 시너지 또는 상쇄 효과를 포착 ($X_1 \times X_2$) | 교육 수준과 경력이 연봉에 미치는 복합적 영향 |
| **다항 변환(Polynomial)** | 변수 간의 곡선 관계(U자형 등)를 모델링하기 위해 변수를 제곱 또는 세제곱함 | 연령과 인지 능력의 비선형적 관계 |
## 머신러닝에서의 독립변수(특성 공학)
머신러닝에서는 독립변수를 **특성(Feature)**이라고 부르며, 원본 데이터로부터 모델의 예측 성능을 극대화할 수 있는 최적의 특성을 생성하고 선택하는 과정을 **특성 공학(Feature Engineering)**이라 한다.
### 특성 선택 vs 특성 추출
| 구분 | 특성 선택 (Feature Selection) | 특성 추출 (Feature Extraction) |
| :--- | :--- | :--- |
| **개념** | 기존 변수 중 가장 유용한 일부만 선택 | 기존 변수들을 조합해 새로운 변수를 생성 |
| **특징** | 원래 변수의 의미가 그대로 유지됨 | 원래 변수의 의미가 변형됨 (해석력 감소) |
| **방법** | 필터 방식, 래퍼 방식, 임베디드 방식 | PCA(주성분 분석), LDA, Autoencoder |
| **목적** | 차원 축소, 과적합 방지, 모델 단순화 | 정보 손실 최소화 및 데이터 압축 |
## 누락된 변수 편향 (Omitted Variable Bias)
**누락된 변수 편향(OVB)**이란 종속변수에 영향을 미치는 중요한 독립변수가 모델에서 제외되었을 때, 모델에 포함된 다른 독립변수의 회귀계수가 왜곡되어 추정되는 현상을 말한다.
### 수식 예시
실제 모델이 다음과 같다고 가정하자:
$$ Y = \beta_1 X_1 + \beta_2 X_2 + \varepsilon $$
여기서 중요한 변수인 $X_2$를 누락하고 $X_1$만으로 회귀분석을 수행하면, 추정된 계수 $\hat{\beta}_1$은 다음과 같이 나타난다:
$$ E[\hat{\beta}_1] = \beta_1 + \beta_2 \frac{\text{Cov}(X_1, X_2)}{\text{Var}(X_1)} $$
이때 $\hat{\beta}_1$이 실제 값 $\beta_1$과 일치하기 위해서는 다음 두 조건 중 하나를 만족해야 한다:
1. 누락된 변수 $X_2$가 종속변수 $Y$에 영향을 주지 않아야 함 ($\beta_2 = 0$)
2. 누락된 변수 $X_2$와 포함된 변수 $X_1$ 사이에 상관관계가 없어야 함 ($\text{Cov}(X_1, X_2) = 0$)
만약 두 조건 모두 만족하지 못한다면, $\hat{\beta}_1$은 편향(Bias)을 가지게 되어 잘못된 인과관계 해석으로 이어질 수 있다.
## 독립변수의 측정 수준과 척도
독립변수는 측정 방식에 따라 네 가지 척도로 분류되며, 척도의 수준에 따라 적용 가능한 통계 분석 기법이 달라진다.
| 척도 수준 | 특징 | 예시 | 적용 가능한 분석 기법 |
| :--- | :--- | :--- | :--- |
| **명목 척도** (Nominal) | 단순 분류, 순서나 크기 의미 없음 | 성별, 혈액형, 종교 | 교차분석 ($\chi^2$ 검정), 로지스틱 회귀 |
| **서열 척도** (Ordinal) | 분류 + 순위 존재, 간격은 일정치 않음 | 학력, 만족도(5점 척도), 계급 | 상관분석(Spearman), 비모수 검정 |
| **등간 척도** (Interval) | 순위 + 간격 일정, 절대 0점 없음 | 온도($^\circ\text{C}$), 지능지수(IQ) | t-검정, ANOVA, 선형 회귀분석 |
| **비율 척도** (Ratio) | 간격 일정 + 절대 0점 존재, 비율 계산 가능 | 키, 몸무게, 소득, 시간 | 모든 통계 분석 기법 적용 가능 |
---
## 정규화 기법을 통한 변수 선택: Ridge와 LASSO
현대적인 통계 모델링에서는 과적합(Overfitting)을 방지하고 변수 선택의 효율성을 높이기 위해 L2 정규화(Ridge)와 L1 정규화(LASSO) 기법을 사용한다.
### Ridge vs LASSO 비교
| 구분 | Ridge 회귀 (L2 Regularization) | LASSO 회귀 (L1 Regularization) |
| :--- | :--- | :--- |
| **패널티 항** | 계수의 제곱합 ($\sum \beta^2$) | 계수의 절대값 합 ($\sum |\beta|$) |
| **계수 처리** | 계수를 0에 가깝게 축소 (Shrinkage) | 중요하지 않은 계수를 **정확히 0**으로 만듦 |
| **변수 선택** | 모든 변수를 유지하며 영향력 조절 | 불필요한 변수를 제거하여 **자동 변수 선택** 수행 |
| **주요 용도** | 다중공선성이 심한 데이터셋 | 변수가 매우 많아 희소(Sparse) 모델이 필요할 때 |
---
## 관찰 연구에서의 독립변수 취급
실험 연구에서는 연구자가 독립변수를 직접 조작(Manipulation)할 수 있으나, 관찰 연구(Observational Study)에서는 이미 발생한 데이터를 수집하므로 조작이 불가능하다. 따라서 관찰 연구에서의 독립변수는 다음과 같이 취급된다.
- **사후적 정의**: 연구자가 변수를 설정하여 투입하는 것이 아니라, 수집된 데이터 중 종속변수에 영향을 주었을 것으로 추정되는 변수를 독립변수로 지정한다.
- **선택 편향(Selection Bias) 제어**: 조작이 불가능하므로, 독립변수와 종속변수 모두에 영향을 주는 제3의 변수(교란변수)를 통제하기 위해 성향 점수 매칭(Propensity Score Matching) 등의 기법을 활용한다.
---
## 내생성(Endogeneity) 유발 원인과 사례
독립변수가 오차항과 상관관계를 갖게 되는 내생성 문제는 추정치의 편향을 초래한다. 주요 유발 원인과 구체적 사례는 다음과 같다.
1. **역인과관계 (Reverse Causality)**
- **원인**: 독립변수가 종속변수에 영향을 주는 것이 아니라, 종속변수가 독립변수에 영향을 주는 경우.
- **사례**: '경찰관 수($X$)'가 '범죄율($Y$)'을 낮춘다고 분석했으나, 실제로는 '범죄율이 높은 지역($Y$)'에 '경찰관을 더 많이 배치($X$)'한 경우.
2. **누락된 변수 (Omitted Variable)**
- **원인**: 종속변수와 독립변수 모두에 영향을 미치는 중요한 변수가 모델에서 제외된 경우.
- **사례**: '교육 수준($X$)'이 '임금($Y$)'에 미치는 영향을 분석할 때, 개인의 '타고난 능력($Z$)'을 통제하지 않은 경우. (능력이 좋은 사람이 교육도 많이 받고 임금도 높을 가능성이 큼)
3. **측정 오차 (Measurement Error)**
- **원인**: 독립변수를 측정하는 과정에서 오류가 발생하여 실제 값과 차이가 나는 경우.
- **사례**: 설문조사에서 '월평균 지출액($X$)'을 응답자의 기억에 의존해 수집했을 때, 실제 지출액과 응답값 사이에 오차가 발생하는 경우.
---
## 인과 추론을 위한 독립변수 설정 전략
단순한 상관관계를 넘어 인과관계를 규명하기 위해 다음과 같은 전략적 접근을 사용한다.
### 무작위 배정 (Randomization)
연구 대상자를 독립변수의 처치 집단과 통제 집단에 무작위로 할당함으로써, 관찰되지 않은 모든 교란변수를 두 집단 간에 균등하게 배분한다. 이를 통해 독립변수 외의 다른 요인을 제거하고 순수한 인과효과를 측정할 수 있다.
### 도구 변수 (Instrumental Variable, IV)
내생성 문제가 있는 독립변수 $X$ 대신, 다음 두 조건을 만족하는 도구 변수 $Z$를 활용한다.
1. **관련성 (Relevance)**: 도구 변수 $Z$는 독립변수 $X$와 강한 상관관계가 있어야 한다.
2. **외생성 (Exogeneity)**: 도구 변수 $Z$는 종속변수 $Y$에 직접 영향을 주지 않으며, 오직 $X$를 통해서만 $Y$에 영향을 주어야 한다. (오차항과 상관관계가 없어야 함)
## 참고 자료
- Wooldridge, J. M. (2019). *Introductory Econometrics: A Modern Approach*. Cengage Learning.
- James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). *An Introduction to Statistical Learning*. Springer.
- 한국통계진흥원. (2020). *기초통계학 개론*.
> 이 문서는 통계학 학습 및 연구를 위한 참고 자료로 활용할 수 있습니다. 실제 분석 시에는 데이터 특성과 연구 목적에 맞는 변수 선택과 모델 설계가 필요합니다.