# BERT (Bidirectional Encoder Representations from Transformers)

**BERT**(Bidirectional Encoder Representations from Transformers)는 Google AI Language 팀에서 개발한 언어 이해를 위한 양방향 사전 학습 모델입니다. 기존의 언어 모델들이 텍스트를 왼쪽에서 오른쪽으로, 혹은 오른쪽에서 왼쪽으로 읽는 단방향 방식이었던 것과 달리, BERT는 문맥의 양방향(Bidirectional) 정보를 동시에 학습하여 텍스트의 깊은 의미를 더 정확하게 파악하는 것을 핵심 목적으로 합니다.

## 핵심 아키텍처

BERT는 **Transformer**(트랜스포머) 아키텍처의 **인코더(Encoder)** 구조만을 사용합니다. 텍스트 전체를 한 번에 입력받아 각 토큰이 주변의 모든 토큰과 상호작용하도록 하는 셀프 어텐션(Self-Attention) 메커니즘을 통해, 문맥에 따라 의미가 변하는 단어의 다의성을 효과적으로 해결합니다.

## 사전 학습(Pre-training) 전략

BERT는 레이블이 없는 대규모 말뭉치를 사용하여 다음 두 가지 핵심 태스크를 통해 사전 학습을 진행합니다.

*   **Masked Language Model (MLM)**:
    *   입력 문장에서 무작위로 일부 토큰을 마스킹(`[MASK]`) 처리하고, 주변 문맥을 통해 해당 토큰이 무엇인지 예측하는 방식입니다.
    *   이를 통해 모델은 문장의 왼쪽과 오른쪽 양방향 문맥을 모두 고려하여 단어의 의미를 학습하게 됩니다.
*   **Next Sentence Prediction (NSP)**:
    *   두 개의 문장을 입력으로 주고, 두 번째 문장이 첫 번째 문장 다음에 실제로 오는 문장인지 여부(IsNext / NotNext)를 이진 분류하는 방식입니다.
    *   문장 간의 관계를 이해함으로써 질의응답(QA)이나 자연어 추론(NLI)과 같은 태스크에서 성능을 높입니다.

## 미세 조정(Fine-tuning)

사전 학습된 BERT 모델은 범용적인 언어 표현력을 갖추고 있으며, 이를 특정 목적의 **다운스트림 태스크(Downstream Task)**에 적용하기 위해 소량의 레이블된 데이터를 사용하여 미세 조정(Fine-tuning) 과정을 거칩니다.

*   **분류(Classification)**: `[CLS]` 토큰의 출력 벡터를 사용하여 감성 분석이나 스팸 분류 등을 수행합니다.
*   **질의응답(Question Answering)**: 입력 텍스트 내에서 정답에 해당하는 시작점과 끝점의 위치를 예측합니다.
*   **개체명 인식(Named Entity Recognition)**: 각 토큰별로 태그를 할당하여 인물, 장소, 조직 등을 식별합니다.

## 비교 분석: 단방향 모델 vs BERT

| 구분 | 단방향 모델 (예: GPT-1) | BERT (양방향 모델) |
| :--- | :--- | :--- |
| **학습 방향** | Left-to-Right (단방향) | Bidirectional (양방향) |
| **문맥 파악** | 이전 토큰들만 참조 가능 | 앞뒤 모든 토큰을 동시에 참조 |
| **주요 목적** | 텍스트 생성 (Generative) | 언어 이해 (Understanding) |
| **학습 방식** | 다음 단어 예측 (Causal LM) | 마스크 단어 예측 (MLM) |

## 성능 및 영향력

BERT는 출시 당시 **GLUE**(General Language Understanding Evaluation) 벤치마크를 포함한 11개의 NLP 태스크에서 기존의 SOTA(State-of-the-Art) 기록을 경신하며 압도적인 성능을 증명했습니다. 

이러한 성과는 NLP 연구의 패러다임을 '특정 태스크를 위한 모델 설계'에서 '대규모 사전 학습 후 미세 조정'이라는 방식으로 완전히 전환시켰으며, 이후 RoBERTa, ALBERT, ELECTRA 등 수많은 변형 모델과 발전된 언어 모델들이 등장하는 결정적인 토대가 되었습니다.