# 트라이그램

트라이그램(Tr)은 자연어 처리(Natural Language Processing, NLP) 분야에서 텍스트의 언어적조를 모델하는 데 사용되는 통적 언어 모델의 한 형태입니다. 특히 **N-그램(N-gram)** 모델의 일종으로, 연된 세 개의 단어(또는 토큰)로 구성된 단위를 기반으로 언어의 확률적턴을 분석하고 예측하는 데 활용됩니다. 트라이그램은 언어 모델링, 음성 인식, 기계 번역, 오타 수정 등 다양한 응용 분야에서 중요한 역할을 합니다.

## 개요

트라이그램은 **bi-gram**(바이그램, 2-그램)과 **uni-gram**(유니그램, 1-그램)의 확장 개념으로, 문장 내에서 세 단어가 연속적으로 등장하는 조합을 하나의 단위로 간주합니다. 예를 들어, 문장 "나는 학교에 간다"는 다음과 같은 트라이그램으로 분해될 수 있습니다:

- ("나는", "학교에", "간다")

이러한 조합을 통해 특정 단어가 앞선 두 단어에 의해 얼마나 자주 등장하는지를 확률적으로 계산할 수 있습니다. 이는 언어의 통계적 특성을 반영하며, 새로운 문장을 생성하거나 문장의 자연스러움을 평가하는 데 유용합니다.

## 트라이그램 언어 모델

### 정의와 수학적 표현

트라이그램 모델은 **마르코프 가정(Markov Assumption)** 을 기반으로 하며, 현재 단어의 등장 확률이 바로 이전 두 단어에만 의존한다고 가정합니다. 수학적으로는 다음과 같이 표현됩니다:

\[
P(w_i | w_1, w_2, ..., w_{i-1}) \approx P(w_i | w_{i-2}, w_{i-1})
\]

즉, 문장에서 i번째 단어 \( w_i \)의 확률은 \( w_{i-2} \)와 \( w_{i-1} \)에 의해 결정된다고 보는 것입니다. 전체 문장의 확률은 각 단어의 조건부 확률의 곱으로 계산됩니다:

\[
P(w_1, w_2, ..., w_n) = \prod_{i=1}^{n} P(w_i | w_{i-2}, w_{i-1})
\]

여기서 문장의 시작 부분은 보통 특수 토큰 `<s>` (start)와 `<s><s>`로 패딩하여 트라이그램을 완성합니다.

### 예시

문장 "고양이가 밥을 먹는다"의 확률을 트라이그램 모델로 계산해보면 다음과 같습니다:

1. \( P(\text{고양이가} | <s>, <s>) \)
2. \( P(\text{밥을} | <s>, \text{고양이가}) \)
3. \( P(\text{먹는다} | \text{고양이가}, \text{밥을}) \)

이 확률들은 대규모 코퍼스(corpus)에서 각 트라이그램의 등장 빈도를 세고, 조건부 확률을 계산함으로써 추정됩니다.

## 트라이그램의 장단점

### 장점

- **상대적 정확도 향상**: 유니그램이나 바이그램보다 더 많은 문맥 정보를 반영하므로, 문장의 자연스러움을 더 잘 예측할 수 있습니다.
- **계산 간단성**: 딥러닝 기반 모델에 비해 구현과 계산이 간단하며, 적은 자원으로도 작동 가능합니다.
- **해석 용이성**: 각 트라이그램의 확률이 명확히 정의되어 있어 모델의 동작을 이해하고 디버깅하기 쉬움.

### 단점

- **희소성 문제 (Sparsity)**: 특정 트라이그램 조합이 학습 코퍼스에 등장하지 않았을 경우 확률이 0이 되어, 새로운 문장을 처리할 수 없게 됩니다. 이를 해결하기 위해 **스무딩(Smoothing)** 기법(예: Add-one smoothing, Kneser-Ney smoothing)이 필요합니다.
- **한정된 문맥**: 단지 이전 두 단어만을 고려하므로, 장거리 의존성(long-range dependency)을 포착하지 못합니다.
- **저장 공간 문제**: 단어 집합이 클 경우, 가능한 트라이그램의 수는 \( V^3 \) (V는 어휘 크기)에 비례하여 메모리 사용량이 급격히 증가합니다.

## 응용 분야

트라이그램 모델은 다음과 같은 분야에서 활용됩니다:

| 응용 분야 | 설명 |
|----------|------|
| **오타 수정 및 자동 완성** | 사용자가 입력한 단어의 다음 단어를 예측하거나, 비슷한 발음의 단어 중 가장 확률 높은 조합을 선택 |
| **음성 인식** | 음성 신호에서 추출된 단어 후보 중 가장 자연스러운 문장을 선택 |
| **기계 번역** | 번역 후보 문장의 유연성(fluency)을 평가하기 위한 언어 모델로 사용 |
| **텍스트 생성** | 단순한 챗봇이나 생성기에서 문장을 확률적으로 생성 |

## 트라이그램과 현대 언어 모델의 비교

최근에는 트랜스포머 기반의 심층 신경망 언어 모델(예: BERT, GPT)이 주류를 이루고 있습니다. 이러한 모델들은 트라이그램과 달리 장거리 의존성을 효과적으로 포착하며, 단어의 의미적 관계까지 이해할 수 있습니다. 그러나 트라이그램 모델은 다음과 같은 이유로 여전히 중요합니다:

- **가벼운 계산 자원**: 실시간 시스템이나 임베디드 환경에서 유리함
- **해석 가능성**: 확률 기반 모델로서 결과를 쉽게 분석 가능
- **기초 학습 도구**: NLP 입문 교육에서 언어 모델의 개념을 설명하는 데 유용

## 참고 자료

- Jurafsky, D., & Martin, J. H. (2023). *Speech and Language Processing* (3rd ed.). Draft available online.
- Manning, C. D., & Schütze, H. (1999). *Foundations of Statistical Natural Language Processing*. MIT Press.
- Wikipedia: "N-gram"
- Stanford NLP Group Lecture Notes on Language Models

트라이그램은 자연어 처리의 기초이자 역사적 기반을 형성한 모델로, 오늘날의 고급 언어 모델 개발에 중요한 밑거름이 되었습니다.