# Zero-Shot 분류

## 개요
Zero-shot 분류(Zero-Shot Classification, ZSC)는 머신러닝 및 인공지능 분야에서 훈련 데이터에 포함되지 않은 새로운 클래스를 식별하고 범주화하는 기술입니다. 기존 지도 학습이 레이블이 명시된 데이터를 통해 모델을 최적화하는 것과 달리, zero-shot 분류는 모델이 테스트 시점에 처음 접하는 미지식 클래스(Zero-class)를 일반화하여 추론할 수 있어야 합니다. 이 기술은 전이 학습(Transfer Learning)의 고급 패러다임 중 하나로, 대규모 사전 훈련된 언어 및 다모달 모델의 발전과 함께 컴퓨터 비전, 자연어 처리, 로봇 공학 등 다양한 분야에서 데이터 수집 비용과 레이블링 부담을 획기적으로 줄이는 핵심 기술로 자리 잡고 있습니다.

## 기본 개념 및 원리
Zero-shot 분류의 핵심 메커니즘은 **지식 전이**와 **공유 표현 공간(Shared Representation Space)** 구축에 있습니다. 모델은 훈련 단계에서 학습한 클래스들의 속성(Attribute), 텍스트 설명, 또는 시각적 특징을 바탕으로 새로운 클래스와의 의미적 연결고리를 추론합니다. 이를 위해 일반적으로 임베딩(Embedding) 기법이 활용되며, 서로 다른 모달리티(Modalitiy, 예: 텍스트와 이미지)가 동일한 벡터 공간에서 매핑되어 유사도(Similarity Score)를 계산함으로써 분류 경계를 설정합니다.

### 전이 학습과의 관계
Zero-shot 분류는 전이 학습의 한 축을 이루며, 기존 파인튜닝(Fine-tuning) 기반 접근법과 구별됩니다. 전통적인 전이 학습은 소량의 도메인 특화 데이터로 모델 가중치를 미세 조정하는 반면, zero-shot 분류는 추가 학습 없이 사전 훈련된 모델의 지식을 직접 활용합니다. 이는 희귀 클래스가 존재하거나 레이블 수집이 극히 제한적인 환경에서 높은 실용성을 발휘하며, 모델의 일반화 능력(Generalization)을 평가하는 중요한 벤치마크로 자리 잡았습니다.

### 언어 기반 접근법 vs. 시각 기반 접근법
- **언어 기반 접근법**: 텍스트 설명(예: "검은색 깃털을 가진 새", "날개가 있는 포유류")을 임베딩하여 이미지 특징과 비교합니다. 대규모 언어 모델(LLM)이나 BERT 계열 아키텍처가 주로 활용되며, 자연어의 풍부한 의미 표현력을 분류에 직접 반영합니다.
- **시각 기반 접근법**: 시각적 속성(Visual Attributes)이나 프로토타입(Prototype) 벡터를 사용하여 분류 경계를 설정합니다. 전통적인 컴퓨터 비전 연구에서 많이 다루어졌으나, 최근에는 다모달 모델과 결합되어 세분화된 특징 추출 능력을 보완하고 있습니다.

## 주요 알고리즘 및 모델
### CLIP (Contrastive Language-Image Pre-training)
OpenAI가 개발한 CLIP은 zero-shot 분류의 패러다임을 재정의한 대표 모델입니다. 수억 개의 이미지-텍스트 쌍을 대비 학습(Contrastive Learning, 유사한 샘플은 가깝게, 다른 샘플은 멀게 배치하는 학습 방식)으로 학습시켜, 텍스트 프롬프트와 이미지의 코사인 유사도를 계산함으로써 레이블 없이도 높은 분류 정확도를 달성합니다.

### BLIP 및 Flamingo 등 다모달 모델
Salesforce의 BLIP나 DeepMind의 Flamingo는 질문-답변(QA), 캡셔닝, 그리고 zero-shot 분류를 통합한 차세대 다모달 아키텍처입니다. 이러한 모델들은 컨텍스트 인식을 강화하고 시각-언어 교차 어텐션(Cross-Attention) 메커니즘을 통해 복잡한 장면이나 추상적인 개념에 대한 분류 성능을 지속적으로 향상시키고 있습니다.

```python
# CLIP 기반 zero-shot 분류 예시 (추론 단계伪代码)
import torch
from transformers import CLIPModel, CLIPProcessor

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

image = load_image("unknown_object.jpg")
text_labels = ["자동차", "자전거", "새", "나무"]  # 훈련 데이터에 없는 클래스 포함 가능

inputs = processor(text=text_labels, images=image, return_tensors="pt", padding=True)
with torch.no_grad():
    outputs = model(**inputs)
    logits_per_image = outputs.logits_per_image
    probs = logits_per_image.softmax(dim=1).numpy()

predicted_label = text_labels[probs.argmax()]  # 확률 기반 분류 결과 도출
```

## 적용 분야 및 활용 사례
- **의료 진단**: 희귀 질환 이미지를 학습하지 않은 상태에서 임상 설명서나 증세 텍스트를 통해 초기 선별 수행
- **자율 주행 및 로봇 공학**: 훈련 데이터에 없는 새로운 교통 표지판, 보행자 행동 패턴, 또는 자연어 지시(Natural Language Instruction) 기반 객체 조작
- **콘텐츠 검색 및 필터링**: 텍스트 쿼리에 맞는 이미지/동영상 실시간 매칭, 부적절 콘텐츠 자동 분류
- **산업 품질 관리**: 결함 유형이 다양하고 지속적으로 변화하는 제조 라인에서 레이블 없이도 이상 패턴 식별

## 한계점 및 향후 과제
Zero-shot 분류는 여전히 몇 가지 근본적인 한계를 안고 있습니다. 첫째, **지식 편향(Knowledge Bias)**으로 인해 사전 훈련 데이터에 과다하게 포함된 클래스에 치우친 예측을 할 수 있습니다. 둘째, **세분화 능력 부족**으로 유사한 클래스 간 구분이 어렵습니다. 셋째, 텍스트 설명의 품질과 일관성이 모델 성능에 직접적인 영향을 미치므로, 프롬프트 엔지니어링이나 자동 설명 생성 기술이 병행되어야 합니다. 

향후 연구 방향으로는 하이브리드 학습(Zero-shot + Few-shot), 동적 프롬프트 최적화, 도메인 특화 사전 훈련 데이터 구축, 그리고 신뢰도 추정(Uncertainty Estimation)을 통한 안전성 강화 등이 활발히 진행되고 있습니다.

## 참고 자료 및 관련 문서
- Radford et al., "Learning Transferable Visual Models From Natural Language Supervision" (ICML 2021)
- Li et al., "BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation" (ICML 2022)
- Zhou et al., "Zero-Shot Text-Guided Object Detection with Large-Scale Pretrained Models" (CVPR 2021)
- **관련 문서**: 전이 학습, Few-shot Learning, Contrastive Learning, 다모달 인공지능(Multimodal AI), 임베딩 벡터, 프롬프트 엔지니어링