서포트 벡터 머신
서포트 벡터 머신
개요
서트 벡터 머신(Support Vector Machine, SVM)은 기계학습(Machine Learning) 분야에서 널리 사용되는 지도 학습(supervised learning) 알고리즘으로, 주로 분류(classification) 문제에 활용되지만 회귀(regression) 및 이상치 탐지(outlier detection)에도 적용 가능하다. SVM은 입력 데이터를 고차원 특성 공간으로 매핑한 후, 서로 다른 클래스를 가장 효과적으로 분리하는 초평면(hyperplane)을 찾는 것을 목표로 한다. 이 알고리즘의 핵심 아이디어는 마진(margin)을 최대화하여 분류의 일반화 성능을 높이는 것이다.
SVM은 특히 고차원 데이터에서 강력한 성능을 보이며, 텍스트 분류, 이미지 인식, 생물정보학 등 다양한 분야에서 활용된다. 또한, 커널 트릭(kernel trick)을 통해 비선형 문제도 해결할 수 있어 실무에서 매우 유용하다.
작동 원리
1. 선형 분리 가능한 경우
SVM은 두 클래스를 분리하는 결정 경계(decision boundary)를 찾는다. 이 결정 경계는 초평면이며, SVM은 그 초평면이 두 클래스 사이의 마진(두 클래스에 가장 가까운 데이터 포인트 사이의 거리)을 최대화하도록 설계된다.
- 서포트 벡터(Support Vectors): 초평면의 위치를 결정하는 데 핵심적인 역할을 하는, 가장 가까운 데이터 포인트들이다. 이 벡터들이 마진을 형성하며, 모델의 성능에 직접적인 영향을 준다.
- 최대 마진 초평면(Maximum Margin Hyperplane): 두 클래스를 가장 넓은 마진으로 분리하는 초평면.
수학적으로, 주어진 데이터 포인트 ( (x_i, y_i) )에서 ( y_i \in {-1, +1} )일 때, SVM은 다음 최적화 문제를 푼다:
[ \min_{\mathbf{w}, b} \frac{1}{2} |\mathbf{w}|^2 ] [ \text{subject to } y_i(\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad \forall i ]
여기서 ( \mathbf{w} )는 초평면의 법선 벡터, ( b )는 편향(bias)이다.
2. 선형 분리 불가능한 경우: 소프트 마진
현실 세계의 데이터는 완전히 선형 분리 가능한 경우가 드물다. 이를 해결하기 위해 소프트 마진(soft margin) 개념이 도입된다. 이는 일부 데이터 포인트가 마진을 침범해도 허용하는 방식으로, 오분류 허용 정도를 조절하는 정규화 파라미터 ( C )를 사용한다.
- ( C ) 값이 클수록 오분류를 적게 허용하므로 모델이 과적합될 수 있다.
- ( C ) 값이 작을수록 더 많은 오분류를 허용하여 일반화 성능을 높인다.
3. 커널 트릭 (Kernel Trick)
비선형 데이터를 다루기 위해 SVM은 커널 함수(kernel function)를 사용하여 데이터를 고차원 공간으로 매핑한다. 이 과정에서 실제로 고차원 공간으로 변환하지 않고도 내적 계산을 수행할 수 있도록 해주는 것이 커널 트릭이다.
주요 커널 함수: - 선형 커널(Linear Kernel): ( K(x_i, x_j) = x_i \cdot x_j ) - 다항식 커널(Polynomial Kernel): ( K(x_i, x_j) = (x_i \cdot x_j + c)^d ) - RBF 커널(Radial Basis Function, 가우시안 커널): ( K(x_i, x_j) = \exp(-\gamma |x_i - x_j|^2) ) - 시그모이드 커널: ( K(x_i, x_j) = \tanh(\kappa x_i \cdot x_j + c) )
RBF 커널은 비선형 문제에서 가장 널리 사용되며, 하이퍼파라미터 ( \gamma )는 데이터 포인트의 영향 범위를 조절한다.
SVM의 장점과 단점
장점
- 고차원 데이터에서 우수한 성능을 보인다.
- 메모리 효율적: 학습 후에는 서포트 벡터만 저장하면 됨.
- 커널 트릭을 통해 비선형 문제 해결이 가능하다.
- 과적합에 강한 편 (특히 고차원에서).
단점
- 대규모 데이터셋에서 훈련 시간이 오래 걸린다 (시간 복잡도: ( O(n^2) \sim O(n^3) )).
- 결과 해석이 어렵다 (블랙박스 성향).
- 하이퍼파라미터 ( C ), ( \gamma ) 등 조정이 중요하고, 그리드 서치 등을 통해 최적화 필요.
- 확률 예측을 기본적으로 제공하지 않음 (확률 출력은 추가 계산 필요).
활용 사례
SVM은 다양한 분야에서 사용된다: - 텍스트 및 하이퍼텍스트 분류: 스팸 감지, 감성 분석 - 이미지 분류: 객체 인식, 얼굴 인식 - 생물정보학: 유전자 분류, 단백질 분류 - 손글씨 인식: MNIST 데이터셋 기반 분류
관련 기술 및 확장
- 서포트 벡터 회귀(SVR, Support Vector Regression): 회귀 문제에 적용된 SVM 변형.
- One-Class SVM: 이상치 탐지에 사용.
- Structural SVM: 구조화된 출력을 예측하는 데 사용.
참고 자료 및 관련 문서
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
- Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273–297.
- Scikit-learn: SVM 문서
결론
서포트 벡터 머신은 기계학습의 핵심 알고리즘 중 하나로, 특히 고차원 및 소규모 데이터셋에서 강력한 분류 성능을 보인다. 커널 트릭을 통해 선형과 비선형 문제 모두를 유연하게 다룰 수 있으며, 이론적으로도 탄탄한 기반을 갖추고 있다. 다만, 대규모 데이터에서는 다른 알고리즘(예: 신경망)이 더 효율적일 수 있으므로, 문제의 특성에 따라 적절한 선택이 필요하다.
이 문서는 AI 모델(qwen-3-235b-a22b-instruct-2507)에 의해 생성된 콘텐츠입니다.
주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.