ROUGE
개요
ROUGE(RCALL-Oriented Understudy for Gisting Evaluation)는 자연어 처리(Natural Language Processing, NLP) 분야에서 주로 자동 요약(Automatic Summarization) 또는 기계 번역(Machine Translation) 시스템의 출력 결과를 평가하기 위해 사용되는 자동 평가 지표(automatic evaluation metric)입니다. ROUGE는 생성된 요약문이 인간 전문가가 작성한 기준 요약문(Reference Summary)과 얼마나 유사한지를 기반으로 모델의 성능을 정량적으로 측정합니다.
ROUGE는 다양한 하위 지표(ROUGE-N, ROUGE-L, ROUGE-S 등)를 포함하며, 각각은 단어, 문장 구조, 의미적 흐름 등 다른 측면에서 유사도를 평가합니다. 이 지표는 수작업 평가(Human Evaluation)에 비해 비용과 시간이 적게 들며, 반복적인 실험과 모델 개선 과정에서 매우 유용하게 사용됩니다.
ROUGE의 개발 배경
자동 요약 기술이 발전하면서, 생성된 요약의 품질을 효율적으로 평가할 필요성이 커졌습니다. 전통적인 방법은 전문가가 생성된 요약을 직접 평가하는 인간 평가(Human Evaluation)였지만, 이는 시간이 많이 소요되고 일관성 유지가 어려웠습니다.
이에 따라 2004년 Chin-Yew Lin과 Eduard Hovy는 ROUGE를 제안하여, 기계 생성 요약의 품질을 객관적이고 자동화된 방식으로 평가할 수 있도록 했습니다. ROUGE는 기준 요약과 기계 생성 요약 간의 n-그램(n-gram), 최장 공통 부분 수열(LCS), 스킵-그램(skip-gram) 등의 기반으로 유사도를 계산합니다.
주요 ROUGE 지표
ROUGE는 여러 하위 지표로 구성되어 있으며, 각각은 다른 방식으로 유사도를 측정합니다.
ROUGE-N
ROUGE-N은 n-그램의 재현율(Recall)을 기반으로 합니다. 이는 기준 요약에 나타나는 n-그램 중에서 기계 생성 요약에 포함된 n-그램의 비율을 계산합니다.
-
공식:
[
\text{ROUGE-N} = \frac{\sum_{\text{S} \in {\text{요약문}}} \sum_{\text{gram}n \in S} \text{Count}{\text{match}}(\text{gram}n)}{\sum{\text{S} \in {\text{요약문}}} \sum_{\text{gram}_n \in S} \text{Count}(\text{gram}_n)}
]
-
예: ROUGE-1은 단어(1-그램) 기반, ROUGE-2는 연속된 두 단어(2-그램) 기반으로 비교합니다.
- 장점: 단어 수준의 일치도를 잘 반영함.
- 단점: 의미나 구조적 유사성은 고려하지 않음.
ROUGE-L
ROUGE-L은 최장 공통 부분 수열(Longest Common Subsequence, LCS)을 기반으로 합니다. 이는 두 문장 간에 순서를 유지하면서 공통으로 나타나는 가장 긴 단어 수열을 찾습니다.
- 순서가 유지되는 부분을 평가하므로 문장 구조의 유사성도 반영합니다.
- Recall, Precision, F1-score 모두 계산 가능.
- 장점: 문장 구조의 유사성과 의미 흐름을 어느 정도 반영.
- 단점: 간결한 요약보다는 긴 요약에 유리할 수 있음.
ROUGE-S
ROUGE-S (또는 ROUGE-SU)는 스킵-그램(skip-gram)을 사용합니다. 스킵-그램은 연속된 n-그램에서 일부 단어를 건너뛰어도 일치하는 조합을 허용합니다.
- 예: "natural language processing"에서 "natural processing"도 일치로 간주.
- 문장 내 단어 간 관계를 더 유연하게 평가할 수 있음.
- 주로 의미적 관련성을 포착하는 데 유용.
ROUGE의 한계
ROUGE는 널리 사용되지만 다음과 같은 한계점이 있습니다:
- 의미적 유사성 미반영: 동의어나 유사한 표현을 사용하더라도 정확한 단어 일치가 없으면 점수가 낮게 나옴.
- 생성 요약의 질 평가 부족: 문법적 오류나 사실 왜곡이 있어도 n-그램 일치가 높으면 높은 점수를 받을 수 있음.
- 다양한 요약 스타일 고려 미흡: 기준 요약이 하나뿐일 경우, 다른 유효한 요약 방식이 불리하게 평가될 수 있음.
- 재현율 중심: 대부분 재현율(Recall)에 초점을 두며, 생성 요약의 불필요한 반복(과도한 Precision)은 제대로 반영하지 못함.
ROUGE 사용 사례 및 적용 분야
ROUGE는 주로 다음과 같은 상황에서 사용됩니다:
- 요약 모델 개발 및 비교: 다양한 요약 알고리즘(BERTSUM, T5, PEGASUS 등)의 성능을 비교할 때 기준 지표로 활용.
- 하이퍼파라미터 튜닝: 모델 학습 중 ROUGE 점수를 기준으로 최적의 설정을 찾음.
- 공모전 및 벤치마크: CNN/Daily Mail, XSum, DUC 등의 요약 벤치마크에서 공식 평가 지표로 채택됨.
참고 자료 및 관련 문서
ROUGE는 자연어 생성(NLG) 평가의 핵심 도구이지만, 완전한 성능 평가를 위해서는 BLEU, METEOR, BERTScore, 문맥적 일관성 평가(Coherence, Fluency) 등과 함께 종합적으로 사용하는 것이 권장됩니다.
ROUGE 지표의 상세 계산식
ROUGE는 기본적으로 재현율(Recall)을 측정하지만, 실제 평가에서는 정밀도(Precision)와 F1-score를 함께 사용하여 종합적인 성능을 측정합니다.
1. ROUGE-N (n-gram 기반)
- Recall: $\text{ROUGE-N}_{\text{recall}} = \frac{\sum_{S \in \{\text{Ref}\}} \sum_{\text{gram}_n \in S} \text{Count}_{\text{match}}(\text{gram}_n)}{\sum_{S \in \{\text{Ref}\}} \sum_{\text{gram}_n \in S} \text{Count}(\text{gram}_n)}$
- Precision: $\text{ROUGE-N}_{\text{precision}} = \frac{\sum_{S \in \{\text{Gen}\}} \sum_{\text{gram}_n \in S} \text{Count}_{\text{match}}(\text{gram}_n)}{\sum_{S \in \{\text{Gen}\}} \sum_{\text{gram}_n \in S} \text{Count}(\text{gram}_n)}$
- F1-Score: $F_{N} = \frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$
2. ROUGE-L (LCS 기반)
- Recall: $\text{ROUGE-L}_{\text{recall}} = \frac{\text{LCS}(\text{Ref, Gen})}{\text{Length}(\text{Ref})}$
- Precision: $\text{ROUGE-L}_{\text{precision}} = \frac{\text{LCS}(\text{Ref, Gen})}{\text{Length}(\text{Gen})}$
- F1-Score: $F_{L} = \frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$
3. ROUGE-S (Skip-gram 기반)
- Recall: $\text{ROUGE-S}_{\text{recall}} = \frac{\sum_{S \in \{\text{Ref}\}} \sum_{\text{gram}_s \in S} \text{Count}_{\text{match}}(\text{gram}_s)}{\sum_{S \in \{\text{Ref}\}} \sum_{\text{gram}_s \in S} \text{Count}(\text{gram}_s)}$
- Precision 및 F1-Score: ROUGE-N과 동일한 방식으로 계산됩니다.
의미적 유사성 미반영 사례
ROUGE는 텍스트의 표면적인 일치(Surface Matching)만을 측정하므로, 의미적으로는 동일하지만 단어가 다른 경우 점수가 낮게 측정되는 한계가 있습니다.
| 기준 요약 (Reference) |
생성 요약 (Generated) |
ROUGE 결과 |
분석 |
| "그는 매우 기쁘다." |
"그는 매우 행복하다." |
낮음 |
'기쁘다' $\rightarrow$ '행복하다' (유의어 미반영) |
| "날씨가 매우 춥다." |
"날씨가 정말 쌀쌀하다." |
낮음 |
'매우 춥다' $\rightarrow$ '정말 쌀쌀하다' (표현 차이) |
| "정부는 세금을 인상했다." |
"정부가 세금을 올렸다." |
낮음 |
'인상했다' $\rightarrow$ '올렸다' (동의어 미반영) |
ROUGE의 변형 및 확장 지표
표준 ROUGE 외에도 특정 목적을 위해 다음과 같은 변형 지표들이 사용됩니다.
- ROUGE-W (Weighted ROUGE): 연속적으로 일치하는 n-그램에 더 높은 가중치를 부여하여, 단순한 단어 나열보다 응집력 있는 문장에 더 높은 점수를 줍니다.
- ROUGE-NZ (Non-stopword ROUGE): 'the', 'a', 'is'와 같은 불용어(Stop-words)를 제외하고 핵심 키워드의 일치 여부만 측정하여 지표의 신뢰도를 높입니다.
- ROUGE-S-U: 스킵-그램(S)과 최장 공통 부분 수열(L)의 개념을 결합하여, 단어 간의 거리가 떨어져 있더라도 순서가 유지되는 경우를 더 유연하게 포착합니다.
다른 평가 지표와의 비교
BLEU vs ROUGE
- BLEU (Bilingual Evaluation Understudy): 주로 기계 번역에서 사용되며, 정밀도(Precision) 중심입니다. 생성된 문장이 얼마나 정확하게 기준 문장에 포함되어 있는지를 측정합니다.
- ROUGE: 주로 자동 요약에서 사용되며, 재현율(Recall) 중심입니다. 기준 문장의 핵심 내용이 생성된 문장에 얼마나 많이 포함되었는지를 측정합니다.
ROUGE vs BERTScore (임베딩 기반 지표)
최근에는 단순 단어 일치가 아닌 문맥적 의미를 파악하는 BERTScore와 같은 지표가 함께 사용됩니다.
| 비교 항목 |
ROUGE |
BERTScore |
| 비교 방식 |
n-gram 기반 표면적 일치 (Exact Match) |
컨텍스트 임베딩 기반 코사인 유사도 |
| 유의어 처리 |
불가능 (단어가 다르면 0점) |
가능 (의미가 비슷하면 높은 점수) |
| 계산 속도 |
매우 빠름 |
상대적으로 느림 (GPU 필요) |
| 해석 가능성 |
명확함 (겹치는 단어 수로 확인 가능) |
상대적으로 낮음 (벡터 공간의 거리) |
실무 구현 및 도구
ROUGE를 실제 프로젝트에 적용할 때 가장 널리 사용되는 표준 구현체는 다음과 같습니다.
rouge-score (Google Research): Google에서 공개한 파이썬 패키지로, ROUGE-1, 2, L을 표준 방식으로 계산합니다.- GitHub Repository
- Hugging Face
evaluate: rouge_score 라이브러리를 래핑하여 다양한 데이터셋에 쉽게 적용할 수 있도록 제공하는 최신 인터페이스입니다.
# ROUGE
## 개요
ROUGE(RCALL-Oriented Understudy for Gisting Evaluation)는 자연어 처리(Natural Language Processing, NLP) 분야에서 주로 **자동 요약**(Automatic Summarization) 또는 **기계 번역**(Machine Translation) 시스템의 출력 결과를 평가하기 위해 사용되는 **자동 평가 지표**(automatic evaluation metric)입니다. ROUGE는 생성된 요약문이 인간 전문가가 작성한 기준 요약문(Reference Summary)과 얼마나 유사한지를 기반으로 모델의 성능을 정량적으로 측정합니다.
ROUGE는 다양한 하위 지표(ROUGE-N, ROUGE-L, ROUGE-S 등)를 포함하며, 각각은 단어, 문장 구조, 의미적 흐름 등 다른 측면에서 유사도를 평가합니다. 이 지표는 수작업 평가(Human Evaluation)에 비해 비용과 시간이 적게 들며, 반복적인 실험과 모델 개선 과정에서 매우 유용하게 사용됩니다.
---
## ROUGE의 개발 배경
자동 요약 기술이 발전하면서, 생성된 요약의 품질을 효율적으로 평가할 필요성이 커졌습니다. 전통적인 방법은 전문가가 생성된 요약을 직접 평가하는 **인간 평가**(Human Evaluation)였지만, 이는 시간이 많이 소요되고 일관성 유지가 어려웠습니다.
이에 따라 2004년 Chin-Yew Lin과 Eduard Hovy는 ROUGE를 제안하여, 기계 생성 요약의 품질을 객관적이고 자동화된 방식으로 평가할 수 있도록 했습니다. ROUGE는 기준 요약과 기계 생성 요약 간의 **n-그램**(n-gram), **최장 공통 부분 수열**(LCS), **스킵-그램**(skip-gram) 등의 기반으로 유사도를 계산합니다.
---
## 주요 ROUGE 지표
ROUGE는 여러 하위 지표로 구성되어 있으며, 각각은 다른 방식으로 유사도를 측정합니다.
### ROUGE-N
ROUGE-N은 **n-그램의 재현율**(Recall)을 기반으로 합니다. 이는 기준 요약에 나타나는 n-그램 중에서 기계 생성 요약에 포함된 n-그램의 비율을 계산합니다.
- **공식**:
\[
\text{ROUGE-N} = \frac{\sum_{\text{S} \in \{\text{요약문}\}} \sum_{\text{gram}_n \in S} \text{Count}_{\text{match}}(\text{gram}_n)}{\sum_{\text{S} \in \{\text{요약문}\}} \sum_{\text{gram}_n \in S} \text{Count}(\text{gram}_n)}
\]
- 예: ROUGE-1은 단어(1-그램) 기반, ROUGE-2는 연속된 두 단어(2-그램) 기반으로 비교합니다.
- **장점**: 단어 수준의 일치도를 잘 반영함.
- **단점**: 의미나 구조적 유사성은 고려하지 않음.
### ROUGE-L
ROUGE-L은 **최장 공통 부분 수열**(Longest Common Subsequence, LCS)을 기반으로 합니다. 이는 두 문장 간에 순서를 유지하면서 공통으로 나타나는 가장 긴 단어 수열을 찾습니다.
- 순서가 유지되는 부분을 평가하므로 문장 구조의 유사성도 반영합니다.
- **Recall**, **Precision**, **F1-score** 모두 계산 가능.
- **장점**: 문장 구조의 유사성과 의미 흐름을 어느 정도 반영.
- **단점**: 간결한 요약보다는 긴 요약에 유리할 수 있음.
### ROUGE-S
ROUGE-S (또는 ROUGE-SU)는 **스킵-그램**(skip-gram)을 사용합니다. 스킵-그램은 연속된 n-그램에서 일부 단어를 건너뛰어도 일치하는 조합을 허용합니다.
- 예: "natural language processing"에서 "natural processing"도 일치로 간주.
- 문장 내 단어 간 관계를 더 유연하게 평가할 수 있음.
- 주로 의미적 관련성을 포착하는 데 유용.
---
## ROUGE의 한계
ROUGE는 널리 사용되지만 다음과 같은 **한계점**이 있습니다:
1. **의미적 유사성 미반영**: 동의어나 유사한 표현을 사용하더라도 정확한 단어 일치가 없으면 점수가 낮게 나옴.
2. **생성 요약의 질 평가 부족**: 문법적 오류나 사실 왜곡이 있어도 n-그램 일치가 높으면 높은 점수를 받을 수 있음.
3. **다양한 요약 스타일 고려 미흡**: 기준 요약이 하나뿐일 경우, 다른 유효한 요약 방식이 불리하게 평가될 수 있음.
4. **재현율 중심**: 대부분 재현율(Recall)에 초점을 두며, 생성 요약의 불필요한 반복(과도한 Precision)은 제대로 반영하지 못함.
---
## ROUGE 사용 사례 및 적용 분야
ROUGE는 주로 다음과 같은 상황에서 사용됩니다:
- **요약 모델 개발 및 비교**: 다양한 요약 알고리즘(BERTSUM, T5, PEGASUS 등)의 성능을 비교할 때 기준 지표로 활용.
- **하이퍼파라미터 튜닝**: 모델 학습 중 ROUGE 점수를 기준으로 최적의 설정을 찾음.
- **공모전 및 벤치마크**: CNN/Daily Mail, XSum, DUC 등의 요약 벤치마크에서 공식 평가 지표로 채택됨.
---
## 참고 자료 및 관련 문서
- Lin, C. Y. (2004). [ROUGE: A Package for Automatic Evaluation of Summaries](https://www.aclweb.org/anthology/W04-1013/). *Text Summarization Branches Out*, 74–81.
- Hugging Face `evaluate` 라이브러리: [ROUGE in 🤗 Evaluate](https://huggingface.co/docs/evaluate/metrics/rouge)
- NLTK 및 Scikit-learn 등의 라이브러리에서도 ROUGE 계산 기능 제공.
---
ROUGE는 자연어 생성(NLG) 평가의 핵심 도구이지만, 완전한 성능 평가를 위해서는 **BLEU**, **METEOR**, **BERTScore**, **문맥적 일관성 평가**(Coherence, Fluency) 등과 함께 종합적으로 사용하는 것이 권장됩니다.
## ROUGE 지표의 상세 계산식
ROUGE는 기본적으로 재현율(Recall)을 측정하지만, 실제 평가에서는 정밀도(Precision)와 F1-score를 함께 사용하여 종합적인 성능을 측정합니다.
### 1. ROUGE-N (n-gram 기반)
- **Recall**: $\text{ROUGE-N}_{\text{recall}} = \frac{\sum_{S \in \{\text{Ref}\}} \sum_{\text{gram}_n \in S} \text{Count}_{\text{match}}(\text{gram}_n)}{\sum_{S \in \{\text{Ref}\}} \sum_{\text{gram}_n \in S} \text{Count}(\text{gram}_n)}$
- **Precision**: $\text{ROUGE-N}_{\text{precision}} = \frac{\sum_{S \in \{\text{Gen}\}} \sum_{\text{gram}_n \in S} \text{Count}_{\text{match}}(\text{gram}_n)}{\sum_{S \in \{\text{Gen}\}} \sum_{\text{gram}_n \in S} \text{Count}(\text{gram}_n)}$
- **F1-Score**: $F_{N} = \frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$
### 2. ROUGE-L (LCS 기반)
- **Recall**: $\text{ROUGE-L}_{\text{recall}} = \frac{\text{LCS}(\text{Ref, Gen})}{\text{Length}(\text{Ref})}$
- **Precision**: $\text{ROUGE-L}_{\text{precision}} = \frac{\text{LCS}(\text{Ref, Gen})}{\text{Length}(\text{Gen})}$
- **F1-Score**: $F_{L} = \frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$
### 3. ROUGE-S (Skip-gram 기반)
- **Recall**: $\text{ROUGE-S}_{\text{recall}} = \frac{\sum_{S \in \{\text{Ref}\}} \sum_{\text{gram}_s \in S} \text{Count}_{\text{match}}(\text{gram}_s)}{\sum_{S \in \{\text{Ref}\}} \sum_{\text{gram}_s \in S} \text{Count}(\text{gram}_s)}$
- **Precision 및 F1-Score**: ROUGE-N과 동일한 방식으로 계산됩니다.
---
## 의미적 유사성 미반영 사례
ROUGE는 텍스트의 표면적인 일치(Surface Matching)만을 측정하므로, 의미적으로는 동일하지만 단어가 다른 경우 점수가 낮게 측정되는 한계가 있습니다.
| 기준 요약 (Reference) | 생성 요약 (Generated) | ROUGE 결과 | 분석 |
| :--- | :--- | :--- | :--- |
| "그는 매우 **기쁘다**." | "그는 매우 **행복하다**." | 낮음 | '기쁘다' $\rightarrow$ '행복하다' (유의어 미반영) |
| "날씨가 **매우 춥다**." | "날씨가 **정말 쌀쌀하다**." | 낮음 | '매우 춥다' $\rightarrow$ '정말 쌀쌀하다' (표현 차이) |
| "정부는 세금을 **인상했다**." | "정부가 세금을 **올렸다**." | 낮음 | '인상했다' $\rightarrow$ '올렸다' (동의어 미반영) |
---
## ROUGE의 변형 및 확장 지표
표준 ROUGE 외에도 특정 목적을 위해 다음과 같은 변형 지표들이 사용됩니다.
- **ROUGE-W (Weighted ROUGE)**: 연속적으로 일치하는 n-그램에 더 높은 가중치를 부여하여, 단순한 단어 나열보다 응집력 있는 문장에 더 높은 점수를 줍니다.
- **ROUGE-NZ (Non-stopword ROUGE)**: 'the', 'a', 'is'와 같은 불용어(Stop-words)를 제외하고 핵심 키워드의 일치 여부만 측정하여 지표의 신뢰도를 높입니다.
- **ROUGE-S-U**: 스킵-그램(S)과 최장 공통 부분 수열(L)의 개념을 결합하여, 단어 간의 거리가 떨어져 있더라도 순서가 유지되는 경우를 더 유연하게 포착합니다.
---
## 다른 평가 지표와의 비교
### BLEU vs ROUGE
- **BLEU (Bilingual Evaluation Understudy)**: 주로 기계 번역에서 사용되며, **정밀도(Precision)** 중심입니다. 생성된 문장이 얼마나 정확하게 기준 문장에 포함되어 있는지를 측정합니다.
- **ROUGE**: 주로 자동 요약에서 사용되며, **재현율(Recall)** 중심입니다. 기준 문장의 핵심 내용이 생성된 문장에 얼마나 많이 포함되었는지를 측정합니다.
### ROUGE vs BERTScore (임베딩 기반 지표)
최근에는 단순 단어 일치가 아닌 문맥적 의미를 파악하는 BERTScore와 같은 지표가 함께 사용됩니다.
| 비교 항목 | ROUGE | BERTScore |
| :--- | :--- | :--- |
| **비교 방식** | n-gram 기반 표면적 일치 (Exact Match) | 컨텍스트 임베딩 기반 코사인 유사도 |
| **유의어 처리** | 불가능 (단어가 다르면 0점) | 가능 (의미가 비슷하면 높은 점수) |
| **계산 속도** | 매우 빠름 | 상대적으로 느림 (GPU 필요) |
| **해석 가능성** | 명확함 (겹치는 단어 수로 확인 가능) | 상대적으로 낮음 (벡터 공간의 거리) |
---
## 실무 구현 및 도구
ROUGE를 실제 프로젝트에 적용할 때 가장 널리 사용되는 표준 구현체는 다음과 같습니다.
- **`rouge-score` (Google Research)**: Google에서 공개한 파이썬 패키지로, ROUGE-1, 2, L을 표준 방식으로 계산합니다.
- [GitHub Repository](https://github.com/google-research/google-rouge)
- **Hugging Face `evaluate`**: `rouge_score` 라이브러리를 래핑하여 다양한 데이터셋에 쉽게 적용할 수 있도록 제공하는 최신 인터페이스입니다.