# Speech-to-Text

 개요

**Speech-to-Text**(음성-텍스트 변환)는 인간의 음성을 디지털 오디오 신호로 입력받아 이를 기계가 이해하고 텍스트로환하는 기술 의미합니다. 이 기은 음성 인식(Speech Recognition)의 핵심 구성 요소로, 자연어 처리(NLP), 인공지능(AI), 머신러닝(ML) 기술을 결합하여 실시간 또는 비실시간으로 음성을 문자로 전사(transcribe)합니다. Speech-to-Text는 스마트폰 음성 입력, 자동 자막 생성, 콜센터 자동화, 보조 기술(Accessibility), 의료 기록 시스템 등 다양한 분야에서 활용되고 있습니다.

이 문서는 Speech-to-Text 기술의 기본 원리, 시스템 구성, 특히 **후처리**(Post-processing) 단계의 중요성과 기법에 초점을 맞추어 설명합니다.

---

## Speech-to-Text 시스템의 구성

Speech-to-Text 시스템은 일반적으로 다음과 같은 주요 단계로 구성됩니다:

1. **음성 전처리**(Preprocessing)
2. **음성 인식**(Acoustic Modeling & Language Modeling)
3. **후처리**(Post-processing)

이 중, **후처리**는 인식된 텍스트의 정확도를 높이고, 문맥에 맞는 자연스러운 출력을 생성하는 데 중요한 역할을 합니다.

---

## 후처리(Post-processing)의 역할

후처리는 음성 인식 엔진이 출력한 **초기 텍스트**(hypothesis)를 보완하고 개선하는 과정입니다. 음성 인식 단계에서 발생할 수 있는 오류(예: 발음 유사 단어 오인, 배경 잡음 영향, 억양 차이 등)를 수정하여 최종 출력 품질을 향상시킵니다.

### 주요 오류 유형
- **음소 오류**: "십"(10)과 "심"(심장) 등 발음이 유사한 단어 오인
- **문맥 불일치**: 문장 흐름상 어색한 단어 선택
- **문법 오류**: 조사, 어미 사용 오류
- **특수 문자 처리 오류**: 이니셜, 약어, 전화번호 등

---

## 후처리 기법

### 1. **언어 모델 기반 재정렬**(Language Model Re-scoring)

음성 인식 시 생성된 여러 후보 텍스트(N-best hypotheses) 중에서 언어 모델(Language Model)을 사용해 가장 자연스러운 문장을 선택합니다. 예를 들어, "오늘 날씨가 십니다"보다 "오늘 날씨가 십니다"를 "오늘 날씨가 좋습니다"로 수정할 수 있습니다.

```python
# 예시: N-best 후보 중 최적 선택
hypotheses = [
    ("오늘 날씨가 십니다", 0.75),
    ("오늘 날씨가 좋습니다", 0.92),
    ("오늘 날씨가 심니다", 0.60)
]
# 언어 모델 점수 기반으로 "좋습니다" 선택
```

### 2. **정규화**(Normalization)

음성에서 인식된 텍스트를 표준 형태로 변환합니다. 예를 들어:
- "삼쩜오" → "3.5"
- "김대한민국" → "김대한민국" (이름 인식 보정)
- "서울시 강남구 역삼동" → 주소 정규화

이 과정은 **토큰 정규화**(Token Normalization) 또는 **텍스트 정규화**(Text Normalization)라고도 부릅니다.

### 3. **명명된 개체 인식**(Named Entity Recognition, NER)

인식된 텍스트에서 사람 이름, 장소, 날짜, 전화번호 등의 고유 정보를 식별하고 보정합니다. 예를 들어, "제 이름은 김지훈입니다"에서 "김지훈"을 사람 이름으로 인식하여 오인 방지.

### 4. **문맥 기반 오류 수정**(Context-aware Correction)

주변 단어와 문장 구조를 분석해 오류를 수정합니다. 예:
- "회의는 오후 삼시에 시작됩니다" → "오후 **세**시" (삼 → 세)

이 기법은 한국어처럼 **수사**(數詞)가 문맥에 따라 달라지는 언어에서 특히 중요합니다.

### 5. **사전 기반 보정**(Dictionary-based Correction)

도메인별 전문 용어 사전(예: 의학, 법률, 기술 용어)을 활용하여 인식 오류를 수정합니다. 예를 들어, "파킨슨병"을 "빠킨슨 빈"으로 잘못 인식했을 경우 사전을 통해 보정.

---

## 후처리의 도전 과제

- **실시간성**: 후처리가 지나치게 복잡해지면 지연(latency)이 발생
- **도메인 이식성**: 특정 도메인(예: 의료)에서 학습된 후처리기가 다른 도메인(예: 일상 대화)에서 잘 작동하지 않을 수 있음
- **다양한 발화 스타일**: 방언, 속어, 외래어 혼용 등에 대한 대응 어려움

---

## 활용 사례

| 분야 | 적용 예시 |
|------|----------|
| **의료** | 의사의 음성 진료 기록 자동 전사 |
| **교육** | 강의 자동 자막 생성 |
| **고객 서비스** | 콜센터 통화 내용 분석 및 요약 |
| **접근성** | 청각 장애인을 위한 실시간 자막 제공 |

---

## 관련 기술 및 참고 자료

- **ASR**(Automatic Speech Recognition): Speech-to-Text의 기초 기술
- **Transformer 기반 모델**: 최근의 후처리 및 인식 모델에서 널리 사용 (예: Whisper, Wav2Vec 2.0)
- **Kaldi, ESPnet**: 오픈소스 음성 인식 프레임워크

### 참고 문헌
- Hinton, G. et al. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition"
- Park, D. et al. (2020). "Whisper: Robust Speech Recognition via Large-Scale Weak Supervision", OpenAI

---

## 결론

Speech-to-Text 기술은 단순한 음성 변환을 넘어, 정확하고 자연스러운 텍스트 생성을 위해 **후처리** 단계가 필수적입니다. 특히 한국어처럼 음절 구조가 복잡하고 문맥 의존성이 높은 언어에서는 언어 모델, 정규화, NER 등을 활용한 정교한 후처리가 성능 향상의 핵심입니다. 향후 AI 기술의 발전과 더불어, 후처리는 더욱 지능화되고 실시간성과 정확성을 동시에 달성할 수 있을 것으로 기대됩니다.