# 환각 현상

## 정의
환각 현상(Hallucination)이란 LLM(대규모 언어 모델)이 학습 데이터에 없는 내용을 마치 사실인 것처럼 자신 있게 생성하는 현상을 말한다. 이는 모델이 논리적으로는 그럴듯해 보이지만, 실제 사실과는 다른 허위 정보를 생성하는 일종의 생성 오류이다.

## 발생 원인
환각 현상은 LLM의 기본 작동 원리와 데이터의 한계로 인해 발생하며, 주요 원인은 다음과 같다.

*   **확률적 생성 방식:** LLM은 다음에 올 가장 확률 높은 단어를 예측하여 문장을 생성하므로, 사실 관계보다는 문맥적 자연스러움을 우선시하는 경향이 있다.
*   **학습 데이터의 한계:** 학습 데이터 자체에 오류가 포함되어 있거나, 특정 주제에 대한 정보가 부족할 때 잘못된 정보를 조합하여 생성한다.
*   **과적합(Overfitting) 및 일반화 오류:** 특정 패턴을 과하게 학습하여 유사한 질문에 대해 잘못된 확신을 가지고 답변하는 경우가 발생한다.

## 유형
환각 현상은 정보의 출처와 일치 여부에 따라 크게 두 가지 유형으로 나뉜다.

| 유형 | 설명 | 예시 |
| :--- | :--- | :--- |
| **내적 환각 (Intrinsic Hallucination)** | 제공된 입력 문맥(Context) 내의 정보와 상충되는 내용을 생성하는 경우 | 주어진 지문에는 'A는 B이다'라고 되어 있으나, 답변에서는 'A는 C이다'라고 주장함 |
| **외적 환각 (Extrinsic Hallucination)** | 제공된 문맥을 넘어서거나 외부 사실과 다른 정보를 생성하는 경우 | 존재하지 않는 논문 제목을 인용하거나, 가공의 인물에 대한 약력을 상세히 서술함 |

## 해결 방안
환각 현상을 완전히 제거하는 것은 어려우나, 다음과 같은 기술적 접근을 통해 발생 빈도를 낮출 수 있다.

### 1. RAG (검색 증강 생성, Retrieval-Augmented Generation)
모델 내부의 지식에만 의존하지 않고, 신뢰할 수 있는 외부 지식 베이스(DB, 문서 등)에서 관련 정보를 먼저 검색한 뒤 그 내용을 바탕으로 답변을 생성하게 하여 정확도를 높이는 방식이다.

### 2. 프롬프트 엔지니어링 (Prompt Engineering)
*   **Few-shot Prompting:** 답변의 예시를 몇 가지 제공하여 모델이 출력 형식을 학습하게 한다.
*   **Chain-of-Thought (CoT):** "단계별로 생각해보세요"와 같은 지시어를 통해 추론 과정을 명시하게 함으로써 논리적 오류를 줄인다.
*   **제약 조건 설정:** "모르는 내용은 모른다고 답하십시오"라는 지침을 명확히 부여한다.

### 3. RLHF (인간 피드백 기반 강화학습, Reinforcement Learning from Human Feedback)
사람이 모델의 답변을 평가하고 교정하는 과정을 통해, 사실에 기반한 답변에 더 높은 보상을 주어 모델의 정직성을 향상시키는 방법이다.

## 톱니바퀴 현상(Cogwheel Effect)과 환각
톱니바퀴 현상이란 모델이 개별적인 사실(Fact)들에 대해서는 정확한 지식을 보유하고 있음에도 불구하고, 이를 조합하여 결론을 도출하는 추론 과정에서 논리적 연결 고리가 어긋나며 발생하는 환각 메커니즘을 의미한다. 마치 정교한 톱니바퀴들이 맞물려 돌아가야 하는 기계에서 하나의 톱니가 어긋나 전체 시스템이 잘못된 방향으로 작동하는 것과 유사하다.

**구체적 사례:**
*   **개별 지식:** 모델은 'A는 B의 아버지이다'라는 사실과 'B는 C의 아버지이다'라는 사실을 각각 정확히 알고 있다.
*   **톱니바퀴 어긋남:** "A와 C의 관계는 무엇인가?"라는 질문을 받았을 때, 두 지식을 논리적으로 연결하여 '조부-손자' 관계를 도출하지 못하고, "A는 C의 아버지이다" 혹은 "A와 C는 형제 관계이다"라고 잘못 연결하여 답변하는 경우이다.

## 추론 단계의 정렬 오류
단순한 지식의 부재가 아니라, '사실 A'에서 '사실 B'로 넘어가는 추론 경로(Reasoning Path) 상의 구조적 결함으로 인해 외적 환각이 발생한다. 이는 모델이 각 단계의 확률적 최적값만을 선택하다가 전체적인 논리 궤적을 이탈할 때 나타난다.

**추론 경로 오류 도식화:**
`[입력 질문]` $\rightarrow$ `[사실 A (정확)]` $\rightarrow$ `[논리적 도약/오류 (Mismatch)]` $\rightarrow$ `[사실 B (왜곡)]` $\rightarrow$ `[최종 환각 답변]`

이 과정에서 모델은 중간 단계의 오류를 인지하지 못한 채, 그 오류를 바탕으로 다음 문장을 생성하므로 매우 확신에 찬 어조로 허위 정보를 출력하게 된다.

## 논리적 결합 오류의 원인
환각의 원인은 단순히 데이터의 부족이나 확률적 생성 방식에만 있지 않다. 복합적인 정보를 통합하는 과정에서 발생하는 '논리적 결합 오류'가 핵심적인 역할을 한다. 모델은 텍스트 간의 통계적 연관성은 잘 파악하지만, 엄격한 논리적 인과관계나 계층 구조를 유지하는 능력이 부족하여, 서로 관련 없는 두 가지 사실을 무리하게 연결하려 할 때 환각이 증폭된다.

## CoT를 통한 추론 경로 최적화
Chain-of-Thought(CoT)는 단순히 답변의 길이를 늘리는 것이 아니라, 톱니바퀴처럼 맞물려야 할 추론 단계들을 명시적으로 분리하여 연결 오류를 방지하는 원리로 작동한다. 추론 과정을 단계별로 출력하게 함으로써 모델이 스스로 이전 단계의 결과물을 검토하고 다음 단계에 반영하게 하여 논리적 이탈을 최소화한다.

**CoT 적용 전후 비교 예시:**

| 구분 | CoT 미적용 (Direct Answer) | CoT 적용 (Step-by-step) |
| :--- | :--- | :--- |
| **질문** | "철수는 영희보다 키가 크고, 영희는 민수보다 키가 크다. 누가 가장 키가 작은가?" | "철수는 영희보다 키가 크고, 영희는 민수보다 키가 크다. 누가 가장 키가 작은가?" |
| **추론 과정** | (내부적으로 즉시 계산 $\rightarrow$ 오류 발생 가능성 높음) | 1. 철수 > 영희 <br> 2. 영희 > 민수 <br> 3. 따라서 철수 > 영희 > 민수 순이다. |
| **결과** | "철수가 가장 키가 작습니다." (환각 발생) | "가장 키가 작은 사람은 민수입니다." (정확) |