Masked Language Modeling
개요
Masked Language Modeling(MLM)은 자연어 처리(NLP) 분야에서 사용되는 자기지도 학습(Self-Supervised Learning) 기법으로, 언어 모델을 사전 훈련(Pre-Training)하는 데 핵심적인 역할을 합니다. 이 기법은 입력 텍스트의 일부 토큰을 무작위로 마스킹한 뒤, 모델이 해당 토큰을 문맥적으로 예측하도록 유도하여 언어의 양방향 표현(Bidirectional Representation)을 학습합니다. 구글의 BERT(Bidirectional Encoder Representations from Transformers) 모델에서 처음 제안된 이 기법은 NLP 분야의 패러다임을 변화시키며 다양한 변형 모델의 기반이 되었습니다.
기본 원리
마스킹 전략
MLM은 입력 토큰의 15%를 무작위로 선택해 다음 규칙에 따라 처리합니다:
- 80%: [MASK] 토큰으로 대체
- 10%: 다른 임의의 단어로 대체
- 10%: 원래 단어 유지
이러한 전략은 모델이 단순히 마스킹된 토큰을 기억하는 것이 아니라, 문맥적 의미를 깊이 이해하도록 유도합니다.
양방향 문맥 활용
기존 언어 모델(예: GPT)이 단방향(좌측 또는 우측) 문맥만을 활용했다면, MLM은 입력 전체의 양방향 문맥을 동시에 고려합니다. 이는 Transformer 아키텍처의 Self-Attention 메커니즘 덕분에 가능하며, 단어 간 복잡한 관계를 포착할 수 있습니다.
학습 과정
단계별 흐름
- 데이터 준비: 대규모 텍스트 코퍼스(예: 위키피디아)를 토큰화하고 마스킹 적용
- 모델 입력: 마스킹된 텍스트를 인코더에 입력
- 예측 계산: 각 마스킹된 위치에서 어휘집(Vocabulary) 내 모든 단어의 확률 분포 계산
- 손실 최적화: 교차 엔트로피 손실(Cross-Entropy Loss)을 통해 모델 파라미터 업데이트
기술적 세부 정보
- 손실 함수:
$ L = -\sum_{i \in \text{masked positions}} \log P(w_i | w_{\text{context}}) $
- 동적 마스킹: 각 훈련 에포크에서 새로운 마스킹 패턴 생성
- 어휘집 크기: 일반적으로 30,000개 이상의 서브워드 단위 사용
# 간단한 MLM 훈련 예제 (의사코드)
input_text = "오늘 날씨는 [MASK]입니다."
masked_positions = [3] # "맑아"가 마스킹된 위치
predicted_token = model(input_text) # Output: "맑아"
loss = cross_entropy_loss(predicted_token, "맑아")
응용 분야
주요 활용 사례
| 분야 |
적용 예시 |
| 텍스트 분류 |
감정 분석, 스팸 감지 |
| 질문 답변 |
BERT 기반 QA 시스템 (SQuAD 데이터셋) |
| 개체명 인식(NER) |
사람, 장소, 조직명 추출 |
| 번역 품질 평가 |
BLEU, ROUGE 지표 보완 |
전이 학습(Transfer Learning)
MLM을 통해 사전 훈련된 모델은 파인튜닝(Fine-Tuning)을 통해 다양한 downstream task에 적응됩니다. 예를 들어, BERT는 11개의 NLP 태스크에서 SOTA 성능을 달성한 바 있습니다.
장단점 분석
장점
- 문맥 이해력 향상: 양방향 학습으로 의미를 정확히 파악
- 데이터 효율성: 라벨이 없는 텍스트로 훈련 가능
- 다양성: 다양한 언어 구조 학습 가능
단점
- 계산 비용: GPU/TPU 자원 다량 소요
- 의존성: 대규모 훈련 데이터 필요
- 제한된 추론 능력: 생성형 작업에는 부적합
관련 모델 및 기술
주요 변형 모델
| 모델명 |
특징 |
개선점 |
| BERT |
최초의 MLM 기반 모델 |
기본 프레임워크 제공 |
| RoBERTa |
동적 마스킹 및 더 큰 배치 크기 적용 |
학습 안정성 향상 |
| ELECTRA |
감별자(Discriminator) 대신 생성자(Generator) 사용 |
학습 효율성 증대 |
대체 기법
- Denoising Autoencoders: 노이즈가 있는 입력 복원
- Contrastive Learning: 긍정/부정 샘플 비교 학습
결론
Masked Language Modeling은 NLP 분야의 혁신적 기법으로, 언어 모델의 사전 훈련 방식을 재정의했습니다. 이 기법은 단순한 텍스트 예측을 넘어, 문맥적 의미 이해와 전이 학습 능력을 향상시키며 다양한 응용 분야에 기여하고 있습니다. 향후 연구에서는 계산 효율성 개선과 생성형 작업 확장을 위한 접근이 지속될 전망입니다.
고도화된 마스킹 전략
단순한 개별 토큰 마스킹은 모델이 서브워드(Subword) 단위의 파편화된 정보에 의존하게 만드는 한계가 있습니다. 이를 해결하기 위해 다음과 같은 고도화된 전략이 사용됩니다.
Whole Word Masking (WWM)
단어의 일부 서브워드만 마스킹하는 것이 아니라, 하나의 완전한 단어를 구성하는 모든 서브워드를 동시에 마스킹하는 기법입니다. 이를 통해 모델은 단순한 철자 예측이 아닌 실제 단어의 의미적 맥락을 학습하게 됩니다.
- 일반 마스킹 예시:
unbelievable $\rightarrow$ un[MASK]lievable (모델이 주변 철자만 보고 예측 가능)
- WWM 적용 예시:
unbelievable $\rightarrow$ [MASK][MASK][MASK] (단어 전체를 추론해야 하므로 더 높은 수준의 문맥 이해 필요)
Span Masking
연속된 여러 개의 토큰(Span)을 묶어서 한꺼번에 마스킹하는 방식입니다. 이는 문장 내의 구(Phrase)나 절(Clause) 단위의 관계를 학습하게 하여, 더 긴 범위의 의존성을 파악하는 능력을 향상시킵니다.
MLM의 한계와 극복 방안
MLM은 강력한 성능을 보이지만, 구조적인 한계점인 훈련-추론 불일치(Pretrain-Finetune Discrepancy) 문제를 가지고 있습니다.
훈련-추론 불일치 문제
사전 훈련 단계에서는 [MASK]라는 특수 토큰을 사용하여 학습하지만, 실제 다운스트림 태스크(Fine-tuning 및 Inference) 단계의 입력 데이터에는 [MASK] 토큰이 전혀 등장하지 않습니다. 이러한 괴리는 모델이 훈련 때 배운 패턴을 실제 적용 단계에서 100% 활용하지 못하게 만드는 요인이 됩니다.
극복 방안
- ELECTRA의 RTD(Replaced Token Detection):
[MASK] 토큰을 사용하는 대신, 생성자가 교체한 가짜 토큰을 판별하는 방식으로 학습하여 불일치 문제를 근본적으로 제거했습니다.
- 마스킹 확률 조정: RoBERTa와 같이 마스킹 전략을 최적화하거나, 데이터 증강을 통해 모델의 일반화 성능을 높이는 방법이 사용됩니다.
MLM과 Causal Language Modeling(CLM) 비교
MLM(BERT 방식)과 CLM(GPT 방식)은 텍스트를 처리하는 방향성과 목적에서 뚜렷한 차이를 보입니다.
| 비교 항목 |
Masked Language Modeling (MLM) |
Causal Language Modeling (CLM) |
| 학습 방향 |
양방향 (Bidirectional) |
단방향 (Unidirectional / Left-to-Right) |
| 예측 대상 |
문장 중간의 빈칸 ([MASK]) |
다음에 올 토큰 (Next Token Prediction) |
| 주요 목적 |
문맥 이해, 텍스트 분석, 분류 |
텍스트 생성, 대화형 AI |
| 대표 모델 |
BERT, RoBERTa, ALBERT |
GPT 시리즈, Llama |
| 특징 |
주변 문맥을 모두 참조하여 정교한 표현 학습 |
이전 토큰들만 참조하여 자연스러운 문장 생성 |
최근에는 이 두 방식의 장점을 결합하여, 학습 시에는 MLM처럼 양방향으로 학습하고 추론 시에는 CLM처럼 생성 능력을 갖추게 하는 UnifiedLM과 같은 하이브리드 접근법이 연구되고 있습니다.
모델 최적화 및 경량화 지표
MLM 기반 모델의 거대한 파라미터 수를 줄여 효율성을 높이기 위한 최적화 모델들의 성능 지표는 다음과 같습니다.
| 모델명 |
최적화 기법 |
파라미터 수 (BERT-base 대비) |
GLUE Score (성능 유지율) |
특징 |
| ALBERT |
파라미터 공유 (Cross-layer sharing) |
약 1/18 수준 |
$\approx$ 95% 이상 유지 |
메모리 사용량 획기적 감소 |
| DistilBERT |
지식 증류 (Knowledge Distillation) |
약 60% 수준 |
$\approx$ 97% 유지 |
추론 속도 약 60% 향상 |
참고 자료
- Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805
- Liu, Y. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692
- Clark, K. et al. (2020). ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. ICLR 2020
# Masked Language Modeling
## 개요
Masked Language Modeling(MLM)은 자연어 처리(NLP) 분야에서 사용되는 자기지도 학습(Self-Supervised Learning) 기법으로, 언어 모델을 사전 훈련(Pre-Training)하는 데 핵심적인 역할을 합니다. 이 기법은 입력 텍스트의 일부 토큰을 무작위로 마스킹한 뒤, 모델이 해당 토큰을 문맥적으로 예측하도록 유도하여 언어의 양방향 표현(Bidirectional Representation)을 학습합니다. 구글의 BERT(Bidirectional Encoder Representations from Transformers) 모델에서 처음 제안된 이 기법은 NLP 분야의 패러다임을 변화시키며 다양한 변형 모델의 기반이 되었습니다.
## 기본 원리
### 마스킹 전략
MLM은 입력 토큰의 15%를 무작위로 선택해 다음 규칙에 따라 처리합니다:
- **80%**: `[MASK]` 토큰으로 대체
- **10%**: 다른 임의의 단어로 대체
- **10%**: 원래 단어 유지
이러한 전략은 모델이 단순히 마스킹된 토큰을 기억하는 것이 아니라, 문맥적 의미를 깊이 이해하도록 유도합니다.
### 양방향 문맥 활용
기존 언어 모델(예: GPT)이 단방향(좌측 또는 우측) 문맥만을 활용했다면, MLM은 입력 전체의 양방향 문맥을 동시에 고려합니다. 이는 Transformer 아키텍처의 Self-Attention 메커니즘 덕분에 가능하며, 단어 간 복잡한 관계를 포착할 수 있습니다.
## 학습 과정
### 단계별 흐름
1. **데이터 준비**: 대규모 텍스트 코퍼스(예: 위키피디아)를 토큰화하고 마스킹 적용
2. **모델 입력**: 마스킹된 텍스트를 인코더에 입력
3. **예측 계산**: 각 마스킹된 위치에서 어휘집(Vocabulary) 내 모든 단어의 확률 분포 계산
4. **손실 최적화**: 교차 엔트로피 손실(Cross-Entropy Loss)을 통해 모델 파라미터 업데이트
### 기술적 세부 정보
- **손실 함수**:
$ L = -\sum_{i \in \text{masked positions}} \log P(w_i | w_{\text{context}}) $
- **동적 마스킹**: 각 훈련 에포크에서 새로운 마스킹 패턴 생성
- **어휘집 크기**: 일반적으로 30,000개 이상의 서브워드 단위 사용
```python
# 간단한 MLM 훈련 예제 (의사코드)
input_text = "오늘 날씨는 [MASK]입니다."
masked_positions = [3] # "맑아"가 마스킹된 위치
predicted_token = model(input_text) # Output: "맑아"
loss = cross_entropy_loss(predicted_token, "맑아")
```
## 응용 분야
### 주요 활용 사례
| 분야 | 적용 예시 |
|--------------------|------------------------------------|
| 텍스트 분류 | 감정 분석, 스팸 감지 |
| 질문 답변 | BERT 기반 QA 시스템 (SQuAD 데이터셋)|
| 개체명 인식(NER) | 사람, 장소, 조직명 추출 |
| 번역 품질 평가 | BLEU, ROUGE 지표 보완 |
### 전이 학습(Transfer Learning)
MLM을 통해 사전 훈련된 모델은 파인튜닝(Fine-Tuning)을 통해 다양한 downstream task에 적응됩니다. 예를 들어, BERT는 11개의 NLP 태스크에서 SOTA 성능을 달성한 바 있습니다.
## 장단점 분석
### 장점
- **문맥 이해력 향상**: 양방향 학습으로 의미를 정확히 파악
- **데이터 효율성**: 라벨이 없는 텍스트로 훈련 가능
- **다양성**: 다양한 언어 구조 학습 가능
### 단점
- **계산 비용**: GPU/TPU 자원 다량 소요
- **의존성**: 대규모 훈련 데이터 필요
- **제한된 추론 능력**: 생성형 작업에는 부적합
## 관련 모델 및 기술
### 주요 변형 모델
| 모델명 | 특징 | 개선점 |
|------------|----------------------------------------------------|---------------------------------|
| BERT | 최초의 MLM 기반 모델 | 기본 프레임워크 제공 |
| RoBERTa | 동적 마스킹 및 더 큰 배치 크기 적용 | 학습 안정성 향상 |
| ELECTRA | 감별자(Discriminator) 대신 생성자(Generator) 사용 | 학습 효율성 증대 |
### 대체 기법
- **Denoising Autoencoders**: 노이즈가 있는 입력 복원
- **Contrastive Learning**: 긍정/부정 샘플 비교 학습
## 결론
Masked Language Modeling은 NLP 분야의 혁신적 기법으로, 언어 모델의 사전 훈련 방식을 재정의했습니다. 이 기법은 단순한 텍스트 예측을 넘어, 문맥적 의미 이해와 전이 학습 능력을 향상시키며 다양한 응용 분야에 기여하고 있습니다. 향후 연구에서는 계산 효율성 개선과 생성형 작업 확장을 위한 접근이 지속될 전망입니다.
## 고도화된 마스킹 전략
단순한 개별 토큰 마스킹은 모델이 서브워드(Subword) 단위의 파편화된 정보에 의존하게 만드는 한계가 있습니다. 이를 해결하기 위해 다음과 같은 고도화된 전략이 사용됩니다.
### Whole Word Masking (WWM)
단어의 일부 서브워드만 마스킹하는 것이 아니라, 하나의 완전한 단어를 구성하는 모든 서브워드를 동시에 마스킹하는 기법입니다. 이를 통해 모델은 단순한 철자 예측이 아닌 실제 단어의 의미적 맥락을 학습하게 됩니다.
* **일반 마스킹 예시**: `unbelievable` $\rightarrow$ `un[MASK]lievable` (모델이 주변 철자만 보고 예측 가능)
* **WWM 적용 예시**: `unbelievable` $\rightarrow$ `[MASK][MASK][MASK]` (단어 전체를 추론해야 하므로 더 높은 수준의 문맥 이해 필요)
### Span Masking
연속된 여러 개의 토큰(Span)을 묶어서 한꺼번에 마스킹하는 방식입니다. 이는 문장 내의 구(Phrase)나 절(Clause) 단위의 관계를 학습하게 하여, 더 긴 범위의 의존성을 파악하는 능력을 향상시킵니다.
## MLM의 한계와 극복 방안
MLM은 강력한 성능을 보이지만, 구조적인 한계점인 **훈련-추론 불일치(Pretrain-Finetune Discrepancy)** 문제를 가지고 있습니다.
### 훈련-추론 불일치 문제
사전 훈련 단계에서는 `[MASK]`라는 특수 토큰을 사용하여 학습하지만, 실제 다운스트림 태스크(Fine-tuning 및 Inference) 단계의 입력 데이터에는 `[MASK]` 토큰이 전혀 등장하지 않습니다. 이러한 괴리는 모델이 훈련 때 배운 패턴을 실제 적용 단계에서 100% 활용하지 못하게 만드는 요인이 됩니다.
### 극복 방안
1. **ELECTRA의 RTD(Replaced Token Detection)**: `[MASK]` 토큰을 사용하는 대신, 생성자가 교체한 가짜 토큰을 판별하는 방식으로 학습하여 불일치 문제를 근본적으로 제거했습니다.
2. **마스킹 확률 조정**: RoBERTa와 같이 마스킹 전략을 최적화하거나, 데이터 증강을 통해 모델의 일반화 성능을 높이는 방법이 사용됩니다.
## MLM과 Causal Language Modeling(CLM) 비교
MLM(BERT 방식)과 CLM(GPT 방식)은 텍스트를 처리하는 방향성과 목적에서 뚜렷한 차이를 보입니다.
| 비교 항목 | Masked Language Modeling (MLM) | Causal Language Modeling (CLM) |
| :--- | :--- | :--- |
| **학습 방향** | 양방향 (Bidirectional) | 단방향 (Unidirectional / Left-to-Right) |
| **예측 대상** | 문장 중간의 빈칸 (`[MASK]`) | 다음에 올 토큰 (Next Token Prediction) |
| **주요 목적** | 문맥 이해, 텍스트 분석, 분류 | 텍스트 생성, 대화형 AI |
| **대표 모델** | BERT, RoBERTa, ALBERT | GPT 시리즈, Llama |
| **특징** | 주변 문맥을 모두 참조하여 정교한 표현 학습 | 이전 토큰들만 참조하여 자연스러운 문장 생성 |
최근에는 이 두 방식의 장점을 결합하여, 학습 시에는 MLM처럼 양방향으로 학습하고 추론 시에는 CLM처럼 생성 능력을 갖추게 하는 **UnifiedLM**과 같은 하이브리드 접근법이 연구되고 있습니다.
## 모델 최적화 및 경량화 지표
MLM 기반 모델의 거대한 파라미터 수를 줄여 효율성을 높이기 위한 최적화 모델들의 성능 지표는 다음과 같습니다.
| 모델명 | 최적화 기법 | 파라미터 수 (BERT-base 대비) | GLUE Score (성능 유지율) | 특징 |
| :--- | :--- | :--- | :--- | :--- |
| **ALBERT** | 파라미터 공유 (Cross-layer sharing) | 약 1/18 수준 | $\approx$ 95% 이상 유지 | 메모리 사용량 획기적 감소 |
| **DistilBERT** | 지식 증류 (Knowledge Distillation) | 약 60% 수준 | $\approx$ 97% 유지 | 추론 속도 약 60% 향상 |
## 참고 자료
1. Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805
2. Liu, Y. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692
3. Clark, K. et al. (2020). ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators. ICLR 2020