# 수동 평가 (Manual Evaluation)

## 개요

**수동 평가**(Manual Evaluation)란 인공지능(AI), 특히 자연어 처리(NLP) 및 생성형 AI 모델의 성능을 측정할 때, 컴퓨터가 자동으로 계산하는 지표(예: BLEU, ROUGE, 정확도 등)에 의존하지 않고, **전문가나 인간 평가자(Human Evaluator)가 직접 모델의 출력 결과를 분석하고 점수를 매기는 과정**을 의미합니다.

자동 평가 지표가 문장의 표면적인 유사성이나 통계적 확률에 기반한다면, 수동 평가는 모델이 생성한 답변의 **맥락적 적합성, 논리적 일관성, 사실 정확성, 그리고 인간적인 자연스러움**을 종합적으로 판단한다는 점에서 차별화됩니다. 특히 최근 대규모 언어 모델(LLM)의 발전으로 인해 단순한 정보 제공을 넘어 창의적이고 복잡한 추론이 요구되는 작업에서 수동 평가의 중요성이 더욱 부각되고 있습니다.

## 수동 평가의 필요성과 한계

### 자동 평가의 한계
과거 기계 번역이나 텍스트 요약 분야에서 널리 사용되던 자동 평가 지표들은 다음과 같은 근본적인 한계를 가집니다.
*   **의미의 왜곡**: 단어의 순서나 형태는 유사하지만 의미가 완전히 다른 문장을 높은 점수로 매길 수 있습니다.
*   **맥락 무시**: 대화의 흐름이나 배경 지식을 고려하지 않고 문장 단위만 비교합니다.
*   **창의성 평가 불가**: 시나 스토리텔링과 같이 정답이 명확하지 않은 작업에는 적용하기 어렵습니다.

### 수동 평가의 가치
수동 평가는 이러한 자동 지표가 포착하지 못하는 **'질(Quality)'**과 **'안전성(Safety)'**을 평가할 수 있습니다.
1.  **주관적 만족도 측정**: 사용자의 실제 니즈를 얼마나 잘 충족시켰는지 파악합니다.
2.  **편향성 및 유해성 감지**: 모델이 인종, 성별, 종교 등에 대한 편견이나 유해한 내용을 포함하고 있는지 인간이 직접 식별합니다.
3.  **복잡한 추론 검증**: 수학 문제 풀이나 논리적 추론 과정에서 단계별 오류를 정밀하게 찾아냅니다.

## 수동 평가의 주요 방법론

수동 평가는 평가자의 역할과 평가 기준에 따라 다음과 같이 분류됩니다.

### 1. 전문가 평가 (Expert Evaluation)
도메인 전문가(의사, 변호사, 엔지니어 등)가 해당 분야의 전문 지식을 바탕으로 모델의 출력을 평가합니다.
*   **특징**: 높은 정확도와 신뢰도를 가지지만, 비용이 매우 비싸고 시간이 오래 걸립니다.
*   **활용 분야**: 의료 진단 보조, 법률 자문, 코드 생성 검증 등 고도화된 전문성이 요구되는 영역.

### 2. 일반인 평가 (Crowdsourced Evaluation)
아마존 Mechanical Turk, Clickworker 등의 플랫폼을 통해 다수의 일반인을 모집하여 평가하는 방식입니다.
*   **특징**: 비용 효율적이며 대규모 데이터를 빠르게 수집할 수 있습니다. 하지만 평가자의 수준 편차나 피로도 문제가 발생할 수 있습니다.
*   **활용 분야**: 챗봇의 대화 자연스러움 평가, 콘텐츠 생성의 전반적인 만족도 조사.

### 3. 비교 평가 (Pairwise Comparison / A/B Testing)
두 개 이상의 모델(또는 동일한 모델의 다른 버전)이 생성한 결과를 나란히 제시하고, 평가자가 더 나은 답변을 선택하도록 하는 방식입니다.
*   **특징**: 절대적인 점수 매기기보다 상대적 우위를 판단하기 쉬워 평가자 간 신뢰도(Inter-annotator Agreement)가 높습니다.
*   **활용 분야**: RLHF(인간 피드백을 통한 강화 학습) 데이터 수집, 모델 벤치마킹.

## 평가 기준 (Evaluation Criteria)

수동 평가 시 일반적으로 다음과 같은 다차원적 기준이 사용됩니다.

| 평가 항목 | 설명 |
| :--- | :--- |
| **정확성 (Accuracy)** | 제공된 정보가 사실과 일치하는가? 오류나 환각(Hallucination)이 없는가? |
| **일관성 (Consistency)** | 대화 맥락 내에서 논리적 모순이 없는가? 이전 답변과 충돌하지 않는가? |
| **유용성 (Helpfulness)** | 사용자의 질문에 명확하고 실용적인 해결책을 제시하는가? |
| **자연스러움 (Fluency)** | 문장이 문법적으로 정확하고 인간처럼 자연스럽게 표현되었는가? |
| **안전성 (Safety)** | 혐오 발언, 편견, 불법적이거나 유해한 내용이 포함되지 않았는가? |

## 수동 평가의 절차와 과제

### 일반적인 평가 절차
1.  **평가 가이드라인 정의**: 평가 기준, 점수 척도(예: 1~5점), 예시 케이스를 명확히 문서화합니다.
2.  **평가자 교육 및 선별**: 평가자가 가이드라인을 올바르게 이해하도록 훈련시키고, 사전 테스트를 통해 적합성을 확인합니다.
3.  **평가 수행**: 평가자는 모델의 입력(프롬프트)과 출력을 보고 가이드라인에 따라 점수를 부여하거나 비교 선택을 합니다.
4.  **신뢰도 분석**: 여러 평가자의 결과 간 일치도를 계산하여 평가의 객관성을 검증합니다.

### 주요 과제
*   **비용과 확장성**: 인간 평가는 단위당 비용이 높고 속도가 느려, 대규모 모델 학습이나 실시간 평가에는 적용하기 어렵습니다.
*   **평가자 피로도**: 반복적이고 지루한 평가 작업은 평가자의 집중력을 떨어뜨려 결과의 질을 저하시킬 수 있습니다.
*   **주관성 편차**: 평가자의 배경, 성향, 기분에 따라 결과가 달라질 수 있어, 엄격한 가이드라인과 다중 평가자 방식을 통해 이를 보완해야 합니다.

## 결론 및 향후 전망

수동 평가는 인공지능 모델, 특히 생성형 AI의 성능을 인간 중심의 관점에서 검증하는 **골드 스탠더드(Gold Standard)**로 자리 잡고 있습니다. 자동 평가 지표가 '얼마나 빨리, 얼마나 정확하게' 계산했는지를 알려준다면, 수동 평가는 '얼마나 유용하고 안전한지'를 판단해 줍니다.

현재 연구 동향은 수동 평가의 비용과 시간을 줄이기 위해 **LLM-as-a-Judge**와 같은 하이브리드 접근법을 모색하는 방향으로 나아가고 있습니다. 즉, 검증된 수동 평가 데이터를 바탕으로 LLM이 평가자 역할을 대신하도록 훈련시켜, 수동 평가의 정확성을 유지하면서도 자동 평가의 효율성을 얻으려는 시도가 활발히 이루어지고 있습니다. 그러나 여전히 핵심적인 안전성 검증과 고도화된 전문성 평가에서는 인간의 직접적인 개입이 필수적입니다.

## 관련 문서
*   [자동 평가 지표 (BLEU, ROUGE, METEOR)]
*   [RLHF (Reinforcement Learning from Human Feedback)]
*   [LLM-as-a-Judge]
*   [인간-컴퓨터 상호작용 (HCI)]