# OpenAI Whisper

OpenAI에서 개발한 오픈소스 자동 음성 인식(Automatic Speech Recognition, ASR) 모델입니다. 방대한 양의 다국어 및 다중 작업 웹 데이터를 학습하여 음성 인식, 언어 식별, 그리고 영어 번역 기능을 통합적으로 제공합니다.

## 특징

*   **다국어 지원**: 수십 개의 언어를 인식하고 처리할 수 있으며, 다양한 언어의 음성을 영어로 번역하는 기능이 포함되어 있습니다.
*   **약한 지도 학습(Weak Supervision)**: 정교하게 라벨링된 데이터셋뿐만 아니라, 웹에서 수집한 대규모의 약하게 라벨링된 데이터를 학습하여 일반화 성능을 높였습니다.
*   **강건한 노이즈 제거 능력**: 다양한 배경 소음과 억양이 포함된 데이터로 학습되어, 실제 환경의 복잡한 오디오 입력에서도 높은 인식률을 보입니다.

## 아키텍처

Whisper는 **Transformer 기반의 Encoder-Decoder 구조**를 채택하고 있습니다.

1.  **Encoder**: 입력된 오디오 신호를 80채널 멜-스펙트로그램(Mel-spectrogram)으로 변환한 뒤, Transformer 인코더를 통해 오디오의 특징을 추출합니다.
2.  **Decoder**: 인코더에서 추출된 특징과 이전 단계에서 생성된 텍스트 토큰을 입력받아, 다음 토큰을 예측하는 방식으로 텍스트를 생성합니다.

## 모델 버전

모델의 크기에 따라 파라미터 수와 연산 속도, 인식 성능에 차이가 있습니다.

| 모델 크기 | 파라미터 수 | VRAM 요구량 | 상대적 속도 |
| :--- | :--- | :--- | :--- |
| `tiny` | 39 M | ~1 GB | 약 32배 |
| `base` | 74 M | ~1 GB | 약 16배 |
| `small` | 244 M | ~2 GB | 약 6배 |
| `medium` | 769 M | ~5 GB | 약 2배 |
| `large` | 1550 M | ~10 GB | 1배 |

## 설치 및 사용법

### 설치
Python 환경에서 `pip`를 통해 간단히 설치할 수 있습니다.

```bash
pip install openai-whisper
```

### 기본 사용 예시
다음은 Python을 사용하여 오디오 파일을 텍스트로 변환하는 기본 코드입니다.

```python
import whisper

# 모델 로드 (tiny, base, small, medium, large 중 선택)
model = whisper.load_model("base")

# 오디오 파일 전사
result = model.transcribe("audio.mp3")

# 결과 출력
print(result["text"])
```

## 비교 및 한계점

### 기존 ASR 모델과의 차이점
기존의 많은 ASR 모델들이 특정 언어나 정제된 데이터셋에 최적화되어 있었던 반면, Whisper는 대규모의 다양한 데이터를 통해 학습되어 별도의 미세 조정(Fine-tuning) 없이도 다양한 환경에서 즉시 사용 가능한 제로샷(Zero-shot) 성능이 뛰어납니다.

### 한계점
*   **실시간 처리의 어려움**: 기본 모델 구조는 전체 오디오 세그먼트를 처리하는 방식이므로, 지연 시간(Latency)이 발생하여 실시간 스트리밍 처리에 최적화되어 있지 않습니다.
*   **환각 현상(Hallucination)**: 오디오에 무음 구간이 길거나 배경 소음이 심할 경우, 존재하지 않는 말을 만들어내거나 특정 문구를 반복하는 환각 현상이 발생할 수 있습니다.