다의어 문제

작성자

익명

작성일

2026.08.07

조회수

None

버전

다의어 문제 자연어 처리 WSD 문맥 임베딩 BERT Transformer 중급

다의어 문제 (Polysemy Problem)

1. 개요

다의어 문제(Polysemy Problem)란 하나의 단어 형태가 서로 연관된 여러 개의 의미를 가지고 있어, 컴퓨터가 문맥에 따라 어떤 의미로 사용되었는지 정확히 판별하기 어려운 자연어 처리(NLP)상의 난제를 의미한다.

자연어 처리에서 이 문제가 발생하는 근본적인 이유는 인간의 언어가 효율성을 위해 하나의 기표(Signifiant, 소리나 글자)에 여러 기의(Signifié, 개념)를 할당하는 특성을 갖기 때문이다. 기계 학습 모델이 단어를 단순한 고유 식별자(ID)나 고정된 벡터로 처리할 경우, 서로 다른 의미를 가진 단어들이 동일한 수치로 표현되어 문맥 왜곡이나 오역, 잘못된 정보 추출 등의 결과로 이어진다.

2. 동음이의어(Homonymy)와의 차이점

다의어는 종종 동음이의어와 혼동되지만, 핵심적인 차이는 '의미 간의 연관성'에 있다. 다의어는 하나의 뿌리 의미에서 확장된 여러 의미를 갖는 반면, 동음이의어는 우연히 형태만 같을 뿐 의미상 아무런 관계가 없는 별개의 단어들이다.

구분	다의어 (Polysemy)	동음이의어 (Homonymy)
의미적 연관성	높음 (핵심 의미 공유)	없음 (완전히 다른 개념)
어원적 관계	동일한 어원에서 파생	서로 다른 어원이 우연히 일치
사전 표기	하나의 표제어 아래 번호로 구분	별개의 표제어로 분리 표기
예시	'머리' (신체 부위 $\rightarrow$ 지능 $\rightarrow$ 우두머리)	'배' (신체 부위 / 과일 / 선박)

3. 다의어 문제가 발생하는 원인과 사례

3.1 발생 원인

다의어는 언어의 경제성을 추구하는 과정에서 발생한다. 모든 새로운 개념에 매번 새로운 단어를 만드는 대신, 기존 단어의 의미를 확장하여 사용하는 것이 효율적이기 때문이다. 이러한 확장은 주로 다음과 같은 언어적 원리를 통해 이루어진다. - 은유(Metaphor): 두 대상 사이의 유사성을 바탕으로 의미를 전이하는 것 (예: '길이 막히다' $\rightarrow$ '생각이 막히다') - 환유(Metonymy): 인접성이나 부분-전체 관계를 바탕으로 의미를 전이하는 것 (예: '청와대가 발표했다' $\rightarrow$ '청와대 내의 관계자가 발표했다')

3.2 구체적 사례

한국어의 '잡다'라는 단어는 문맥에 따라 다음과 같이 다양하게 해석된다. - 물리적 포착: "도둑을 잡다." - 기회/권리 획득: "기회를 잡다." - 기준 설정: "중심을 잡다." - 직업 종사: "기술을 잡다."

4. 다의어 해결 방법 (Word Sense Disambiguation, WSD)

어의 중의성 해소(Word Sense Disambiguation, WSD)는 문맥을 분석하여 다의어의 정확한 의미(Sense)를 결정하는 기술이다.

4.1 해결 방법론

지식 기반 방법 (Knowledge-based):
WordNet과 같은 디지털 사전이나 온톨로지(Ontology)를 활용한다.
Lesk 알고리즘: 대상 단어의 사전 정의와 주변 단어들의 사전 정의 사이의 단어 중복도(Overlap)가 가장 높은 의미를 선택하는 방식이다. 최근에는 WordNet과 같은 그래프 구조를 활용한 그래프 신경망(GNN) 기반의 접근법으로 확장되고 있다.
머신러닝 기반 방법 (ML-based):
지도 학습(Supervised Learning): 사람이 직접 라벨링한 말뭉치(Corpus)를 통해 특정 문맥에서 어떤 의미가 쓰였는지 학습한다.
비지도 학습(Unsupervised Learning): 단어의 분포 가설(Distributional Hypothesis)에 기반하여 유사한 문맥에서 나타나는 단어들을 클러스터링하여 의미를 구분한다.
대규모 언어 모델(LLM) 기반 방법:
In-context Learning: 별도의 학습 없이 몇 가지 예시(Few-shot)를 프롬프트에 제공하여 모델이 문맥상 의미를 추론하게 한다.
Chain-of-Thought (CoT): 모델이 단어의 의미를 결정하기 전, 주변 문맥의 논리적 관계를 먼저 분석하도록 유도하여 복잡한 다의어 문제를 해결한다.

4.2 WSD 성능 평가 지표

WSD 모델의 성능은 주로 다음과 같은 지표로 측정한다. - 정확도(Accuracy): 전체 판별 사례 중 정답 의미를 맞춘 비율. - 정밀도(Precision) 및 재현율(Recall): 특정 의미(Sense)에 대해 모델이 얼마나 정확하게 예측했는지와 실제 정답 중 얼마나 찾아냈는지를 측정한다. - F1-Score: 정밀도와 재현율의 조화 평균으로, 데이터 불균형이 심한 다의어 분포에서 종합적인 성능을 평가할 때 사용한다.

5. 현대 NLP에서의 해결책: 문맥 임베딩

5.1 정적 임베딩의 한계

Word2Vec, GloVe와 같은 정적 임베딩(Static Embedding) 방식은 단어 하나당 하나의 고정된 벡터를 할당한다. 이 경우 '배(Ship)'와 '배(Pear)'는 동일한 벡터로 표현되어, 모델이 문맥을 구분할 수 없는 치명적인 한계가 있다.

5.2 동적 임베딩의 등장

BERT(Bidirectional Encoder Representations from Transformers)나 GPT와 같은 동적 임베딩(Contextualized Embedding) 모델은 트랜스포머(Transformer) 구조의 어텐션(Attention) 메커니즘을 사용하여, 주변 단어들과의 관계를 계산해 매번 다른 벡터 값을 생성한다.

5.3 구현 예시 (Python/HuggingFace)

다음은 BERT 모델을 사용하여 동일한 단어가 문맥에 따라 어떻게 다른 벡터로 표현되는지 확인하고, 코사인 유사도를 통해 이를 증명하는 코드이다.

from transformers import BertTokenizer, BertModel
import torch
from torch.nn.functional import cosine_similarity

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 동일한 단어 'bank'가 서로 다른 의미로 쓰인 두 문장
sentences = [
    "I went to the bank to deposit money.", # 금융기관
    "I sat on the river bank."              # 강둑
]

vectors = []
for text in sentences:
    inputs = tokenizer(text, return_tensors="pt")
    outputs = model(**inputs)
    
    # 'bank' 토큰의 인덱스 찾기
    token_ids = tokenizer.tokenize(text)
    bank_idx = token_ids.index('bank')
    
    # 해당 토큰의 마지막 은닉 상태 벡터 추출
    vector = outputs.last_hidden_state[0, bank_idx, :]
    vectors.append(vector)

# 두 벡터 간의 코사인 유사도 계산
similarity = cosine_similarity(vectors[0].unsqueeze(0), vectors[1].unsqueeze(0))
print(f"Cosine Similarity between 'bank' (finance) and 'bank' (river): {similarity.item():.4f}")
# 결과값이 1.0보다 낮게 출력됨으로써 문맥에 따라 벡터가 다르게 생성됨을 증명함

6. 실제 적용 사례 및 오역 사례

6.1 적용 사례

기계 번역 (Machine Translation): '머리를 쓰다'라는 표현을 번역할 때, 신체 부위가 아닌 지적 능력을 의미함을 파악하여 'Use one's head/brain'으로 번역한다.
정보 검색 (Information Retrieval): 사용자가 '애플'을 검색했을 때, IT 기기 관련 검색어와 함께 입력했다면 기업 Apple을, '레시피'와 함께 입력했다면 과일 사과를 우선순위로 노출한다.
챗봇 및 가상 비서: "예약 잡아줘"에서 '잡다'의 의미를 '일정을 확정하다'로 해석하여 캘린더 API와 연동한다.

6.2 다의어 문제로 인한 오역 사례

문맥 파악에 실패할 경우 다음과 같은 치명적인 오역이 발생할 수 있다. - 의미 확장 무시: 영어의 'Face'가 '얼굴'이라는 물리적 의미에서 '직면하다'라는 추상적 의미로 확장되어 쓰인 문장(예: "Face the truth")을 "진실의 얼굴을 보라"와 같이 물리적으로 직역하는 경우. - 문맥 왜곡: '잡다'가 '기회를 얻다'라는 의미로 쓰인 문장을 물리적으로 '포착하다(Catch/Grab)'로 번역하여, 비즈니스 문맥에서 어색한 표현이 되는 경우.

7. 의미론적 관계 다이어그램

다의어의 구조는 중심 의미에서 주변 의미로 확장되는 방사형 구조를 띤다.

graph TD
    Core[중심 의미: 물리적 포착/잡기] --> Sense1[기회/권리를 잡다: 추상적 획득]
    Core --> Sense2[중심을 잡다: 균형 유지]
    Core --> Sense3[직업을 잡다: 생업 종사]
    Core --> Sense4[손잡이를 잡다: 물리적 접촉]
    
    style Core fill:#f9f,stroke:#333,stroke-width:4px

8. 한계 및 향후 과제

8.1 미세 의미 구분 (Fine-grained Sense)

현재의 모델들은 굵직한 의미 차이는 잘 구분하지만, 매우 미세한 뉘앙스 차이(Fine-grained sense)를 구분하는 데에는 여전히 어려움을 겪는다. 이는 학습 데이터셋의 라벨링 비용이 매우 높고, 인간조차 의미 경계를 모호하게 느끼는 경우가 많기 때문이다.

8.2 도메인 특화 및 의미 확장 문제

특정 전문 분야(의료, 법률 등)에서는 일반적인 다의어와는 다른 특수한 의미로 단어가 사용된다. 또한, '가스라이팅'과 같이 기존의 심리학 용어가 일상어에서 의미가 확장되어 쓰이거나, '앱(App)'이 단순 소프트웨어에서 플랫폼 서비스 전체를 통칭하게 되는 등 기존 단어가 새로운 의미를 획득하는 사례에 실시간으로 대응하기 위한 지속적 학습(Continual Learning) 체계 구축이 중요한 과제로 남아 있다.

📝 마크다운 원본

이 문서의 마크다운 원본 내용입니다.

# 다의어 문제 (Polysemy Problem)

## 1. 개요
**다의어 문제(Polysemy Problem)**란 하나의 단어 형태가 서로 연관된 여러 개의 의미를 가지고 있어, 컴퓨터가 문맥에 따라 어떤 의미로 사용되었는지 정확히 판별하기 어려운 자연어 처리(NLP)상의 난제를 의미한다.

자연어 처리에서 이 문제가 발생하는 근본적인 이유는 인간의 언어가 효율성을 위해 하나의 기표(Signifiant, 소리나 글자)에 여러 기의(Signifié, 개념)를 할당하는 특성을 갖기 때문이다. 기계 학습 모델이 단어를 단순한 고유 식별자(ID)나 고정된 벡터로 처리할 경우, 서로 다른 의미를 가진 단어들이 동일한 수치로 표현되어 문맥 왜곡이나 오역, 잘못된 정보 추출 등의 결과로 이어진다.

## 2. 동음이의어(Homonymy)와의 차이점
다의어는 종종 동음이의어와 혼동되지만, 핵심적인 차이는 **'의미 간의 연관성'**에 있다. 다의어는 하나의 뿌리 의미에서 확장된 여러 의미를 갖는 반면, 동음이의어는 우연히 형태만 같을 뿐 의미상 아무런 관계가 없는 별개의 단어들이다.

| 구분 | 다의어 (Polysemy) | 동음이의어 (Homonymy) |
| :--- | :--- | :--- |
| **의미적 연관성** | 높음 (핵심 의미 공유) | 없음 (완전히 다른 개념) |
| **어원적 관계** | 동일한 어원에서 파생 | 서로 다른 어원이 우연히 일치 |
| **사전 표기** | 하나의 표제어 아래 번호로 구분 | 별개의 표제어로 분리 표기 |
| **예시** | '머리' (신체 부위 $\rightarrow$ 지능 $\rightarrow$ 우두머리) | '배' (신체 부위 / 과일 / 선박) |

## 3. 다의어 문제가 발생하는 원인과 사례
### 3.1 발생 원인
다의어는 언어의 **경제성**을 추구하는 과정에서 발생한다. 모든 새로운 개념에 매번 새로운 단어를 만드는 대신, 기존 단어의 의미를 확장하여 사용하는 것이 효율적이기 때문이다. 이러한 확장은 주로 다음과 같은 언어적 원리를 통해 이루어진다.
- **은유(Metaphor):** 두 대상 사이의 유사성을 바탕으로 의미를 전이하는 것 (예: '길이 막히다' $\rightarrow$ '생각이 막히다')
- **환유(Metonymy):** 인접성이나 부분-전체 관계를 바탕으로 의미를 전이하는 것 (예: '청와대가 발표했다' $\rightarrow$ '청와대 내의 관계자가 발표했다')

### 3.2 구체적 사례
한국어의 '잡다'라는 단어는 문맥에 따라 다음과 같이 다양하게 해석된다.
- **물리적 포착:** "도둑을 **잡다**."
- **기회/권리 획득:** "기회를 **잡다**."
- **기준 설정:** "중심을 **잡다**."
- **직업 종사:** "기술을 **잡다**."

## 4. 다의어 해결 방법 (Word Sense Disambiguation, WSD)
**어의 중의성 해소(Word Sense Disambiguation, WSD)**는 문맥을 분석하여 다의어의 정확한 의미(Sense)를 결정하는 기술이다.

### 4.1 해결 방법론
1. **지식 기반 방법 (Knowledge-based):**
   - WordNet과 같은 디지털 사전이나 온톨로지(Ontology)를 활용한다.
   - **Lesk 알고리즘:** 대상 단어의 사전 정의와 주변 단어들의 사전 정의 사이의 단어 중복도(Overlap)가 가장 높은 의미를 선택하는 방식이다. 최근에는 WordNet과 같은 그래프 구조를 활용한 그래프 신경망(GNN) 기반의 접근법으로 확장되고 있다.
2. **머신러닝 기반 방법 (ML-based):**
   - 지도 학습(Supervised Learning): 사람이 직접 라벨링한 말뭉치(Corpus)를 통해 특정 문맥에서 어떤 의미가 쓰였는지 학습한다.
   - 비지도 학습(Unsupervised Learning): 단어의 분포 가설(Distributional Hypothesis)에 기반하여 유사한 문맥에서 나타나는 단어들을 클러스터링하여 의미를 구분한다.
3. **대규모 언어 모델(LLM) 기반 방법:**
   - **In-context Learning:** 별도의 학습 없이 몇 가지 예시(Few-shot)를 프롬프트에 제공하여 모델이 문맥상 의미를 추론하게 한다.
   - **Chain-of-Thought (CoT):** 모델이 단어의 의미를 결정하기 전, 주변 문맥의 논리적 관계를 먼저 분석하도록 유도하여 복잡한 다의어 문제를 해결한다.

### 4.2 WSD 성능 평가 지표
WSD 모델의 성능은 주로 다음과 같은 지표로 측정한다.
- **정확도(Accuracy):** 전체 판별 사례 중 정답 의미를 맞춘 비율.
- **정밀도(Precision) 및 재현율(Recall):** 특정 의미(Sense)에 대해 모델이 얼마나 정확하게 예측했는지와 실제 정답 중 얼마나 찾아냈는지를 측정한다.
- **F1-Score:** 정밀도와 재현율의 조화 평균으로, 데이터 불균형이 심한 다의어 분포에서 종합적인 성능을 평가할 때 사용한다.

## 5. 현대 NLP에서의 해결책: 문맥 임베딩
### 5.1 정적 임베딩의 한계
Word2Vec, GloVe와 같은 **정적 임베딩(Static Embedding)** 방식은 단어 하나당 하나의 고정된 벡터를 할당한다. 이 경우 '배(Ship)'와 '배(Pear)'는 동일한 벡터로 표현되어, 모델이 문맥을 구분할 수 없는 치명적인 한계가 있다.

### 5.2 동적 임베딩의 등장
BERT(Bidirectional Encoder Representations from Transformers)나 GPT와 같은 **동적 임베딩(Contextualized Embedding)** 모델은 트랜스포머(Transformer) 구조의 **어텐션(Attention)** 메커니즘을 사용하여, 주변 단어들과의 관계를 계산해 매번 다른 벡터 값을 생성한다.

### 5.3 구현 예시 (Python/HuggingFace)
다음은 BERT 모델을 사용하여 동일한 단어가 문맥에 따라 어떻게 다른 벡터로 표현되는지 확인하고, 코사인 유사도를 통해 이를 증명하는 코드이다.

```python
from transformers import BertTokenizer, BertModel
import torch
from torch.nn.functional import cosine_similarity

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

# 동일한 단어 'bank'가 서로 다른 의미로 쓰인 두 문장
sentences = [
    "I went to the bank to deposit money.", # 금융기관
    "I sat on the river bank."              # 강둑
]

vectors = []
for text in sentences:
    inputs = tokenizer(text, return_tensors="pt")
    outputs = model(**inputs)
    
    # 'bank' 토큰의 인덱스 찾기
    token_ids = tokenizer.tokenize(text)
    bank_idx = token_ids.index('bank')
    
    # 해당 토큰의 마지막 은닉 상태 벡터 추출
    vector = outputs.last_hidden_state[0, bank_idx, :]
    vectors.append(vector)

# 두 벡터 간의 코사인 유사도 계산
similarity = cosine_similarity(vectors[0].unsqueeze(0), vectors[1].unsqueeze(0))
print(f"Cosine Similarity between 'bank' (finance) and 'bank' (river): {similarity.item():.4f}")
# 결과값이 1.0보다 낮게 출력됨으로써 문맥에 따라 벡터가 다르게 생성됨을 증명함
```

## 6. 실제 적용 사례 및 오역 사례
### 6.1 적용 사례
- **기계 번역 (Machine Translation):** '머리를 쓰다'라는 표현을 번역할 때, 신체 부위가 아닌 지적 능력을 의미함을 파악하여 'Use one's head/brain'으로 번역한다.
- **정보 검색 (Information Retrieval):** 사용자가 '애플'을 검색했을 때, IT 기기 관련 검색어와 함께 입력했다면 기업 Apple을, '레시피'와 함께 입력했다면 과일 사과를 우선순위로 노출한다.
- **챗봇 및 가상 비서:** "예약 잡아줘"에서 '잡다'의 의미를 '일정을 확정하다'로 해석하여 캘린더 API와 연동한다.

### 6.2 다의어 문제로 인한 오역 사례
문맥 파악에 실패할 경우 다음과 같은 치명적인 오역이 발생할 수 있다.
- **의미 확장 무시:** 영어의 'Face'가 '얼굴'이라는 물리적 의미에서 '직면하다'라는 추상적 의미로 확장되어 쓰인 문장(예: "Face the truth")을 "진실의 얼굴을 보라"와 같이 물리적으로 직역하는 경우.
- **문맥 왜곡:** '잡다'가 '기회를 얻다'라는 의미로 쓰인 문장을 물리적으로 '포착하다(Catch/Grab)'로 번역하여, 비즈니스 문맥에서 어색한 표현이 되는 경우.

## 7. 의미론적 관계 다이어그램
다의어의 구조는 중심 의미에서 주변 의미로 확장되는 방사형 구조를 띤다.

```mermaid
graph TD
    Core[중심 의미: 물리적 포착/잡기] --> Sense1[기회/권리를 잡다: 추상적 획득]
    Core --> Sense2[중심을 잡다: 균형 유지]
    Core --> Sense3[직업을 잡다: 생업 종사]
    Core --> Sense4[손잡이를 잡다: 물리적 접촉]
    
    style Core fill:#f9f,stroke:#333,stroke-width:4px
```

## 8. 한계 및 향후 과제
### 8.1 미세 의미 구분 (Fine-grained Sense)
현재의 모델들은 굵직한 의미 차이는 잘 구분하지만, 매우 미세한 뉘앙스 차이(Fine-grained sense)를 구분하는 데에는 여전히 어려움을 겪는다. 이는 학습 데이터셋의 라벨링 비용이 매우 높고, 인간조차 의미 경계를 모호하게 느끼는 경우가 많기 때문이다.

### 8.2 도메인 특화 및 의미 확장 문제
특정 전문 분야(의료, 법률 등)에서는 일반적인 다의어와는 다른 특수한 의미로 단어가 사용된다. 또한, '가스라이팅'과 같이 기존의 심리학 용어가 일상어에서 의미가 확장되어 쓰이거나, '앱(App)'이 단순 소프트웨어에서 플랫폼 서비스 전체를 통칭하게 되는 등 기존 단어가 새로운 의미를 획득하는 사례에 실시간으로 대응하기 위한 지속적 학습(Continual Learning) 체계 구축이 중요한 과제로 남아 있다.

AI 생성 콘텐츠 안내

이 문서는 AI 모델(gemma-4-31b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

위키너와나