감독 학습
개요
감독 학습(Supervised Learning)은 인공지능, 특히 머신러닝 분야에서 가장 기초적이고 널리 사용되는 학습 방식 중 하나입니다. 이 방법은 입력 데이터와 그에 대응하는 정답(레이블)이 쌍으로 주어진 상태에서 모델이 입력과 출력 사이의 관계를 학습함으로써 새로운 입력에 대한 정확한 출력을 예측할 수 있도록 합니다. 감독 학습은 분류(Classification)와 회귀(Regression) 문제 해결에 주로 활용되며, 실생활의 다양한 분야에서 응용되고 있습니다.
감독 학습의 핵심은 학습 데이터(Training Data)에 있습니다. 이 데이터는 입력 변수(특징, features)와 출력 변수(레이블, labels)로 구성되며, 모델은 이 데이터를 기반으로 패턴을 학습합니다. 학습이 완료된 후에는 새로운, 이전에 보지 못한 데이터에 대해 예측을 수행할 수 있습니다.
감독 학습의 기본 원리
감독 학습은 다음과 같은 절차를 따릅니다:
- 데이터 수집: 입력과 정답이 쌍으로 존재하는 데이터셋을 준비합니다.
- 데이터 전처리: 결측치 처리, 정규화, 특징 추출 등의 전처리를 수행합니다.
- 모델 선택: 문제 유형에 맞는 알고리즘(예: 결정 트리, 서포트 벡터 머신, 신경망 등)을 선택합니다.
- 학습(훈련): 학습 데이터를 사용해 모델이 입력과 출력의 관계를 학습합니다.
- 평가: 검증 데이터나 테스트 데이터를 사용해 모델의 성능을 평가합니다.
- 예측: 새로운 데이터에 대해 예측을 수행합니다.
이 과정에서 모델은 손실 함수(Loss Function)를 최소화하는 방향으로 파라미터를 조정하며 학습됩니다. 예를 들어, 회귀 문제에서는 평균 제곱 오차(MSE), 분류 문제에서는 교차 엔트로피 손실을 사용합니다.
주요 문제 유형
감독 학습은 주로 두 가지 문제 유형으로 나뉩니다.
1. 분류(Classification)
분류는 입력 데이터를 미리 정의된 카테고리(클래스) 중 하나로 할당하는 문제입니다. 출력 값은 이산적(discrete)입니다.
- 이진 분류(Binary Classification): 두 개의 클래스로 분류 (예: 스팸 메일 여부)
- 다중 클래스 분류(Multi-class Classification): 세 개 이상의 클래스로 분류 (예: 손글씨 숫자 인식 0~9)
사용되는 알고리즘:
- 로지스틱 회귀 (Logistic Regression)
- 나이브 베이즈 (Naive Bayes)
- 의사결정 나무 (Decision Tree)
- 랜덤 포레스트 (Random Forest)
- 서포트 벡터 머신 (SVM)
- 신경망 (Neural Networks)
2. 회귀(Regression)
회귀는 입력 데이터에 기반하여 연속적인 수치 값을 예측하는 문제입니다. 출력 값은 연속적(continuous)입니다.
- 예: 집값 예측, 주식 가격 예측, 온도 예측
사용되는 알고리즘:
- 선형 회귀 (Linear Regression)
- 다항 회귀 (Polynomial Regression)
- 릿지 회귀 (Ridge Regression)
- 라쏘 회귀 (Lasso Regression)
- 결정 트리 회귀 (Decision Tree Regressor)
- 그래디언트 부스팅 회귀 (Gradient Boosting Regressor)
대표적인 알고리즘 예시
선형 회귀 (Linear Regression)
가장 간단한 회귀 모델로, 입력 변수와 출력 변수 사이의 선형 관계를 가정합니다. 모델은 다음과 같은 형태를 가집니다:
$$
y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_n x_n + \epsilon
$$
여기서 $y$는 예측값, $x_i$는 입력 변수, $\beta_i$는 계수, $\epsilon$은 오차입니다.
로지스틱 회귀 (Logistic Regression)
분류 문제를 위한 알고리즘으로, 출력이 0 또는 1인 이진 분류에 사용됩니다. 시그모이드 함수를 사용하여 출력을 0~1 사이의 확률로 변환합니다.
$$
P(y=1|x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \dots + \beta_n x_n)}}
$$
장점과 한계
| 장점 |
한계 |
| 명확한 정답이 있어 학습 결과를 쉽게 평가할 수 있음 |
레이블링된 데이터가 필요하므로 데이터 수집 비용이 큼 |
| 다양한 알고리즘과 잘 정립된 평가 지표 존재 |
과적합(Overfitting) 발생 가능성 있음 |
| 실용적인 응용 사례가 많음 (의료 진단, 스팸 필터 등) |
새로운 유형의 데이터에 대한 일반화 능력이 떨어질 수 있음 |
응용 사례
- 의료 진단: 환자의 검사 결과를 바탕으로 질병 여부 예측
- 금융: 신용 점수 기반 대출 승인 여부 결정
- 이미지 인식: 사진 속 객체 인식 (예: 고양이 vs 강아지)
- 자연어 처리: 감성 분석 (긍정/부정 리뷰 분류)
관련 문서 및 참고 자료
- 머신러닝 개요
- 비지도 학습
- 과적합과 정규화
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.
감독 학습은 머신러닝의 기초이자 핵심 기술로서, 정밀한 예측과 실용적인 응용이 가능하기 때문에 여전히 활발히 연구되고 사용되고 있습니다.
용어의 정의 및 명칭
감독 학습과 지도 학습은 영어의 'Supervised Learning'을 번역한 동일한 개념입니다. 두 용어 모두 정답(Label)이 주어진 데이터를 통해 모델을 학습시키는 방식을 의미합니다. 다만, 국내 학계 및 산업계에서는 '감독 학습'이라는 표현보다 '지도 학습'이라는 용어가 훨씬 더 보편적으로 사용되는 경향이 있습니다. 따라서 문헌이나 기술 문서에 따라 두 용어가 혼용되어 사용되나, 실무적인 소통에서는 '지도 학습'으로 통칭하는 경우가 많습니다.
지도 학습의 성능 평가 지표
지도 학습은 해결하려는 문제의 유형(분류 또는 회귀)에 따라 서로 다른 평가 지표를 사용하여 모델의 성능을 측정합니다.
분류와 회귀의 평가 지표 비교
| 구분 |
분류 (Classification) |
회귀 (Regression) |
| 핵심 목표 |
클래스(범주)를 정확하게 맞추는 것 |
실제 수치와 예측치 사이의 오차를 줄이는 것 |
| 주요 지표 |
정확도, 정밀도, 재현율, F1-score |
MAE, MSE, RMSE, $R^2$ (결정계수) |
| 특징 |
이산적인 정답 여부 판단 |
연속적인 값의 거리 측정 |
세부 지표 설명
1. 분류 평가 지표
* 정확도(Accuracy): 전체 예측 데이터 중 정답을 맞힌 비율입니다.
* 정밀도(Precision): 모델이 '참'이라고 예측한 것 중 실제 '참'인 비율입니다.
* 재현율(Recall): 실제 '참'인 데이터 중 모델이 '참'이라고 맞힌 비율입니다.
* F1-score: 정밀도와 재현율의 조화 평균으로, 데이터 불균형이 심할 때 모델의 성능을 종합적으로 평가하기 위해 사용합니다.
2. 회귀 평가 지표
* MAE (Mean Absolute Error): 실제값과 예측값 차이의 절대값 평균입니다.
* MSE (Mean Squared Error): 실제값과 예측값 차이의 제곱의 평균으로, 큰 오차에 더 큰 패널티를 부여합니다.
* RMSE (Root Mean Squared Error): MSE에 루트를 씌운 값으로, 실제 타겟 변수와 동일한 단위를 가집니다.
지도 학습의 대표적 알고리즘 목록
지도 학습에서 널리 사용되는 알고리즘은 문제의 특성에 따라 다음과 같이 분류할 수 있습니다.
- 선형 모델: 선형 회귀(Linear Regression), 로지스틱 회귀(Logistic Regression), 서포트 벡터 머신(SVM)
- 트리 기반 모델: 의사결정 나무(Decision Tree), 랜덤 포레스트(Random Forest), 그래디언트 부스팅 머신(GBM), XGBoost, LightGBM, CatBoost
- 확률 기반 모델: 나이브 베이즈(Naive Bayes)
- 신경망 모델: 다층 퍼셉트론(MLP), 합성곱 신경망(CNN), 순환 신경망(RNN), 트랜스포머(Transformer)
- 인스턴스 기반 모델: K-최근접 이웃(K-Nearest Neighbors, KNN)
데이터 효율성 제고 방안
지도 학습의 최대 한계인 '레이블링 비용' 문제를 해결하기 위해 다음과 같은 확장된 학습 방식이 활용됩니다.
- 준지도 학습(Semi-supervised Learning): 소량의 레이블링된 데이터와 대량의 레이블링되지 않은 데이터를 함께 사용하여 학습하는 방식입니다. 레이블링 비용을 줄이면서도 비지도 학습의 데이터 분포 정보를 활용해 성능을 높입니다.
- 능동 학습(Active Learning): 모델이 학습 과정에서 스스로 '판단하기 어려운' 데이터(불확실성이 높은 데이터)를 선택하여 사용자(Oracle)에게 레이블링을 요청하는 방식입니다. 무작위로 데이터를 레이블링하는 것보다 훨씬 적은 양의 데이터로 효율적인 학습이 가능합니다.
[준지도 학습 vs 능동 학습 차이점]
준지도 학습은 이미 존재하는 레이블 없는 데이터를 어떻게 활용할 것인가에 집중하는 반면, 능동 학습은 어떤 데이터에 레이블을 붙이는 것이 가장 효율적일지를 결정하여 전략적으로 레이블을 추가하는 방식이라는 점에서 차이가 있습니다.
# 감독 학습
## 개요
**감독 학습**(Supervised Learning)은 인공지능, 특히 머신러닝 분야에서 가장 기초적이고 널리 사용되는 학습 방식 중 하나입니다. 이 방법은 입력 데이터와 그에 대응하는 정답(레이블)이 쌍으로 주어진 상태에서 모델이 입력과 출력 사이의 관계를 학습함으로써 새로운 입력에 대한 정확한 출력을 예측할 수 있도록 합니다. 감독 학습은 분류(Classification)와 회귀(Regression) 문제 해결에 주로 활용되며, 실생활의 다양한 분야에서 응용되고 있습니다.
감독 학습의 핵심은 **학습 데이터**(Training Data)에 있습니다. 이 데이터는 입력 변수(특징, features)와 출력 변수(레이블, labels)로 구성되며, 모델은 이 데이터를 기반으로 패턴을 학습합니다. 학습이 완료된 후에는 새로운, 이전에 보지 못한 데이터에 대해 예측을 수행할 수 있습니다.
---
## 감독 학습의 기본 원리
감독 학습은 다음과 같은 절차를 따릅니다:
1. **데이터 수집**: 입력과 정답이 쌍으로 존재하는 데이터셋을 준비합니다.
2. **데이터 전처리**: 결측치 처리, 정규화, 특징 추출 등의 전처리를 수행합니다.
3. **모델 선택**: 문제 유형에 맞는 알고리즘(예: 결정 트리, 서포트 벡터 머신, 신경망 등)을 선택합니다.
4. **학습(훈련)**: 학습 데이터를 사용해 모델이 입력과 출력의 관계를 학습합니다.
5. **평가**: 검증 데이터나 테스트 데이터를 사용해 모델의 성능을 평가합니다.
6. **예측**: 새로운 데이터에 대해 예측을 수행합니다.
이 과정에서 모델은 **손실 함수**(Loss Function)를 최소화하는 방향으로 파라미터를 조정하며 학습됩니다. 예를 들어, 회귀 문제에서는 평균 제곱 오차(MSE), 분류 문제에서는 교차 엔트로피 손실을 사용합니다.
---
## 주요 문제 유형
감독 학습은 주로 두 가지 문제 유형으로 나뉩니다.
### 1. 분류(Classification)
분류는 입력 데이터를 미리 정의된 카테고리(클래스) 중 하나로 할당하는 문제입니다. 출력 값은 이산적(discrete)입니다.
- **이진 분류**(Binary Classification): 두 개의 클래스로 분류 (예: 스팸 메일 여부)
- **다중 클래스 분류**(Multi-class Classification): 세 개 이상의 클래스로 분류 (예: 손글씨 숫자 인식 0~9)
**사용되는 알고리즘**:
- 로지스틱 회귀 (Logistic Regression)
- 나이브 베이즈 (Naive Bayes)
- 의사결정 나무 (Decision Tree)
- 랜덤 포레스트 (Random Forest)
- 서포트 벡터 머신 (SVM)
- 신경망 (Neural Networks)
### 2. 회귀(Regression)
회귀는 입력 데이터에 기반하여 연속적인 수치 값을 예측하는 문제입니다. 출력 값은 연속적(continuous)입니다.
- 예: 집값 예측, 주식 가격 예측, 온도 예측
**사용되는 알고리즘**:
- 선형 회귀 (Linear Regression)
- 다항 회귀 (Polynomial Regression)
- 릿지 회귀 (Ridge Regression)
- 라쏘 회귀 (Lasso Regression)
- 결정 트리 회귀 (Decision Tree Regressor)
- 그래디언트 부스팅 회귀 (Gradient Boosting Regressor)
---
## 대표적인 알고리즘 예시
### 선형 회귀 (Linear Regression)
가장 간단한 회귀 모델로, 입력 변수와 출력 변수 사이의 선형 관계를 가정합니다. 모델은 다음과 같은 형태를 가집니다:
$$
y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_n x_n + \epsilon
$$
여기서 $y$는 예측값, $x_i$는 입력 변수, $\beta_i$는 계수, $\epsilon$은 오차입니다.
### 로지스틱 회귀 (Logistic Regression)
분류 문제를 위한 알고리즘으로, 출력이 0 또는 1인 이진 분류에 사용됩니다. 시그모이드 함수를 사용하여 출력을 0~1 사이의 확률로 변환합니다.
$$
P(y=1|x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \dots + \beta_n x_n)}}
$$
---
## 장점과 한계
| 장점 | 한계 |
|------|------|
| 명확한 정답이 있어 학습 결과를 쉽게 평가할 수 있음 | 레이블링된 데이터가 필요하므로 데이터 수집 비용이 큼 |
| 다양한 알고리즘과 잘 정립된 평가 지표 존재 | 과적합(Overfitting) 발생 가능성 있음 |
| 실용적인 응용 사례가 많음 (의료 진단, 스팸 필터 등) | 새로운 유형의 데이터에 대한 일반화 능력이 떨어질 수 있음 |
---
## 응용 사례
- **의료 진단**: 환자의 검사 결과를 바탕으로 질병 여부 예측
- **금융**: 신용 점수 기반 대출 승인 여부 결정
- **이미지 인식**: 사진 속 객체 인식 (예: 고양이 vs 강아지)
- **자연어 처리**: 감성 분석 (긍정/부정 리뷰 분류)
---
## 관련 문서 및 참고 자료
- [머신러닝 개요](/wiki/머신러닝)
- [비지도 학습](/wiki/비지도_학습)
- [과적합과 정규화](/wiki/과적합)
- Bishop, C. M. (2006). *Pattern Recognition and Machine Learning*. Springer.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). *The Elements of Statistical Learning*. Springer.
감독 학습은 머신러닝의 기초이자 핵심 기술로서, 정밀한 예측과 실용적인 응용이 가능하기 때문에 여전히 활발히 연구되고 사용되고 있습니다.
## 용어의 정의 및 명칭
**감독 학습**과 **지도 학습**은 영어의 'Supervised Learning'을 번역한 동일한 개념입니다. 두 용어 모두 정답(Label)이 주어진 데이터를 통해 모델을 학습시키는 방식을 의미합니다. 다만, 국내 학계 및 산업계에서는 '감독 학습'이라는 표현보다 **'지도 학습'**이라는 용어가 훨씬 더 보편적으로 사용되는 경향이 있습니다. 따라서 문헌이나 기술 문서에 따라 두 용어가 혼용되어 사용되나, 실무적인 소통에서는 '지도 학습'으로 통칭하는 경우가 많습니다.
## 지도 학습의 성능 평가 지표
지도 학습은 해결하려는 문제의 유형(분류 또는 회귀)에 따라 서로 다른 평가 지표를 사용하여 모델의 성능을 측정합니다.
### 분류와 회귀의 평가 지표 비교
| 구분 | 분류 (Classification) | 회귀 (Regression) |
| :--- | :--- | :--- |
| **핵심 목표** | 클래스(범주)를 정확하게 맞추는 것 | 실제 수치와 예측치 사이의 오차를 줄이는 것 |
| **주요 지표** | 정확도, 정밀도, 재현율, F1-score | MAE, MSE, RMSE, $R^2$ (결정계수) |
| **특징** | 이산적인 정답 여부 판단 | 연속적인 값의 거리 측정 |
### 세부 지표 설명
**1. 분류 평가 지표**
* **정확도(Accuracy)**: 전체 예측 데이터 중 정답을 맞힌 비율입니다.
* **정밀도(Precision)**: 모델이 '참'이라고 예측한 것 중 실제 '참'인 비율입니다.
* **재현율(Recall)**: 실제 '참'인 데이터 중 모델이 '참'이라고 맞힌 비율입니다.
* **F1-score**: 정밀도와 재현율의 조화 평균으로, 데이터 불균형이 심할 때 모델의 성능을 종합적으로 평가하기 위해 사용합니다.
**2. 회귀 평가 지표**
* **MAE (Mean Absolute Error)**: 실제값과 예측값 차이의 절대값 평균입니다.
* **MSE (Mean Squared Error)**: 실제값과 예측값 차이의 제곱의 평균으로, 큰 오차에 더 큰 패널티를 부여합니다.
* **RMSE (Root Mean Squared Error)**: MSE에 루트를 씌운 값으로, 실제 타겟 변수와 동일한 단위를 가집니다.
## 지도 학습의 대표적 알고리즘 목록
지도 학습에서 널리 사용되는 알고리즘은 문제의 특성에 따라 다음과 같이 분류할 수 있습니다.
* **선형 모델**: 선형 회귀(Linear Regression), 로지스틱 회귀(Logistic Regression), 서포트 벡터 머신(SVM)
* **트리 기반 모델**: 의사결정 나무(Decision Tree), 랜덤 포레스트(Random Forest), 그래디언트 부스팅 머신(GBM), XGBoost, LightGBM, CatBoost
* **확률 기반 모델**: 나이브 베이즈(Naive Bayes)
* **신경망 모델**: 다층 퍼셉트론(MLP), 합성곱 신경망(CNN), 순환 신경망(RNN), 트랜스포머(Transformer)
* **인스턴스 기반 모델**: K-최근접 이웃(K-Nearest Neighbors, KNN)
## 데이터 효율성 제고 방안
지도 학습의 최대 한계인 '레이블링 비용' 문제를 해결하기 위해 다음과 같은 확장된 학습 방식이 활용됩니다.
* **준지도 학습(Semi-supervised Learning)**: 소량의 레이블링된 데이터와 대량의 레이블링되지 않은 데이터를 함께 사용하여 학습하는 방식입니다. 레이블링 비용을 줄이면서도 비지도 학습의 데이터 분포 정보를 활용해 성능을 높입니다.
* **능동 학습(Active Learning)**: 모델이 학습 과정에서 스스로 '판단하기 어려운' 데이터(불확실성이 높은 데이터)를 선택하여 사용자(Oracle)에게 레이블링을 요청하는 방식입니다. 무작위로 데이터를 레이블링하는 것보다 훨씬 적은 양의 데이터로 효율적인 학습이 가능합니다.
**[준지도 학습 vs 능동 학습 차이점]**
준지도 학습은 **이미 존재하는** 레이블 없는 데이터를 어떻게 활용할 것인가에 집중하는 반면, 능동 학습은 **어떤 데이터에** 레이블을 붙이는 것이 가장 효율적일지를 결정하여 전략적으로 레이블을 추가하는 방식이라는 점에서 차이가 있습니다.