# 유사도 평가

## 개요

자연어(Natural Language Processing, NLP 분야에서 **유사도 평가**(Similarity Evaluation)는 두 개 이상의 텍 간 의미적 유사성을 정량적으로 측정하는 과정을 의미합니다. 이는 기계번역, 질의응답 시스, 요약 생성 문장 임베딩 대화 시스템 등 NLP 응용 분야에서 모델 성능을 평가하는 핵심 요소로 사용됩니다. 유사도 평가는 단순한 문자열 일치를 넘어서, **의미의 유사성**을 중심으로 판단해야 하므로, 언어의 맥락, 다의어, 문법 구조 등을 고려한 정교한 방법이 필요합니다.

본 문서에서는 자연어처리에서 유사도 평가의 주요 개념, 평가 방법, 지표, 그리고 실제 활용 사례를 중심으로 설명합니다.

---

## 유사도 평가의 목적

유사도 평가는 다음과 같은 목적을 가지고 수행됩니다:

- **모델 출력의 정확성 검증**: 예를 들어, 기계번역 모델이 생성한 문장이 원문과 얼마나 의미적으로 유사한지를 평가.
- **임베딩 공간의 질 평가**: 문장 임베딩 모델이 유사한 의미의 문장을 가까운 벡터 공간에 배치하는지 확인.
- **정보 검색 최적화**: 사용자 질의와 문서 간의 관련성을 평가하여 검색 결과의 정확도 향상.
- **요약 평가**: 생성된 요약문이 원문의 핵심 내용을 얼마나 잘 반영하는지 판단.

---

## 유사도 평가의 주요 접근 방식

유사도 평가는 크게 **자동 평가**(Automatic Evaluation)와 **인간 평가**(Human Evaluation)로 나뉩니다.

### 1. 자동 평가

자동 평가는 계산 가능한 지표를 기반으로 신속하고 일관된 결과를 제공합니다. 주로 사용되는 방법은 다음과 같습니다.

#### 1.1 벡터 기반 유사도 측정

문장을 벡터(임베딩)로 변환한 후, 벡터 간의 유사도를 계산합니다.

- **코사인 유사도**(Cosine Similarity):  
  두 벡터 간의 각도를 기반으로 유사도를 측정합니다. 값은 -1에서 1 사이이며, 1에 가까울수록 유사합니다.
  $$
  \text{cosine\_similarity}(A, B) = \frac{A \cdot B}{\|A\| \|B\|}
  $$

  예: `문장 A`와 `문장 B`의 BERT 임베딩 벡터를 사용하여 코사인 유사도를 계산.

- **유클리드 거리**(Euclidean Distance):  
  벡터 간의 직선 거리를 측정. 거리가 작을수록 유사도가 높음. 정규화된 형태로 변환하여 유사도 점수로 활용 가능.

#### 1.2 토큰 기반 유사도

단어 또는 서브워드 토큰 수준에서 일치를 측정하는 방법입니다.

- **Jaccard 유사도**:  
  두 문장의 토큰 집합 간의 교집합과 합집합 비율을 계산.
  $$
  J(A, B) = \frac{|A \cap B|}{|A \cup B|}
  $$

- **BLEU**, **METEOR**, **ROUGE**:  
  주로 기계번역 및 요약 평가에 사용되며, n-gram 일치율을 기반으로 함.  
  특히 METEOR는 동의어, 형태소 일치 등을 고려하여 유사도를 더 정교하게 평가합니다.

#### 1.3 문맥 기반 유사도 (문맥 감지 모델 활용)

- **BERTScore**:  
  BERT와 같은 문맥 기반 언어 모델을 사용하여 각 토큰의 문맥 임베딩을 계산하고, 토큰 간 유사도를 기반으로 Precision, Recall, F1 점수를 도출합니다.  
  인간의 직관적 유사도 판단과 높은 상관관계를 보입니다.

- **Sentence-BERT (SBERT) 유사도**:  
  문장을 전체적으로 인코딩하여 고정 길이의 문장 벡터를 생성하고, 코사인 유사도를 계산.  
  의미적 유사도 평가에서 매우 효과적입니다.

---

### 2. 인간 평가

자동 평가 지표는 계산이 편리하지만, 의미적 맥락을 완전히 반영하지 못할 수 있습니다. 따라서 인간 평가가 보완적으로 사용됩니다.

- **유사도 점수**(Semantic Similarity Score):  
  일반적으로 1점(전혀 유사하지 않음)에서 5점(매우 유사함) 사이의 척도를 사용하여 평가자에게 두 문장의 의미적 유사도를 평가하게 함.

- **순위 평가**(Ranking Evaluation):  
  여러 문장 후보 중에서 원문과 가장 유사한 순서를 인간이 지정.

- **예시**:  
  > 원문: "강아지가 공원에서 뛰어놀고 있다."  
  > 후보 1: "개가 야외에서 뛰고 있다." → 평가: 4점  
  > 후보 2: "고양이가 잠을 자고 있다." → 평가: 1점

---

## 유사도 평가의 주요 데이터셋

유사도 평가 모델을 개발하거나 검증하기 위해 다음과 같은 공개 데이터셋이 활용됩니다.

| 데이터셋 | 설명 | 활용 분야 |
|---------|------|----------|
| **STS Benchmark (Semantic Textual Similarity)** | 문장 쌍에 대한 인간 평가 유사도 점수 제공 | 문장 유사도 모델 평가 |
| **SICK (Sentences Involving Compositional Knowledge)** | 의미적 유사도 및 관련성 평가용 | 임베딩 모델 평가 |
| **GLUE/MNLI** | 문장 간 관계(유사, 상반, 중립) 분류 | 자연어 추론 및 유사도 평가 |
| **KorSTS** | 한국어 문장 유사도 데이터셋 | 한국어 NLP 모델 평가 |

---

## 유사도 평가의 도전 과제

- **다의어와 문맥 의존성**: 동일한 단어라도 문맥에 따라 의미가 달라지므로 정확한 유사도 판단이 어렵습니다.
- **형태소 변형**: "먹는다", "먹었음", "먹을 것" 등 다양한 형태소 변형을 처리해야 함.
- **의미적 등가성**: 표현은 다르지만 의미가 동일한 경우(예: "서울은 수도다" vs "한국의 수도는 서울이다")를 인식해야 함.
- **문화적/지역적 차이**: 한국어의 경우 사투리나 은어 등이 유사도 평가를 복잡하게 만들 수 있음.

---

## 활용 사례

- **챗봇 응답 평가**: 사용자 질문과 챗봇의 응답이 의미적으로 일치하는지 평가.
- **기계번역 평가**: 번역된 문장이 원문의 의미를 얼마나 잘 전달하는지 측정.
- **문서 유사도 검색**: 고객 문의와 유사한 과거 사례를 빠르게 검색.
- **요약 생성 평가**: 생성 요약문이 원문의 핵심 정보를 포함하는지 판단.

---

## 참고 자료

- Cer, D. et al. (2017). [SemEval-2017 Task 1: Semantic Textual Similarity](https://www.aclweb.org/anthology/S17-2001/)
- Reimers, N. & Gurevych, I. (2019). [Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks](https://arxiv.org/abs/1908.10084)
- Zhang, T. et al. (2019). [BERTScore: Evaluating Text Generation with BERT](https://arxiv.org/abs/1904.09675)
- 한국어 자연어처리 연구회 (2021). KorSTS 데이터셋 소개

---

유사도 평가는 자연어처리 시스템의 신뢰성과 성능을 판단하는 핵심 요소입니다. 자동화된 지표와 인간 평가를 적절히 조합하여, 보다 정확하고 의미 중심의 평가 체계를 구축하는 것이 중요합니다.