# 평가 가이드라인

## 1. 개요
평가 가이드라인이란 평가 지표의 정의, 평가자가 준수해야 할 판정 기준, 그리고 데이터 수집 및 검증 절차를 체계화한 문서이다.

인공지능(AI) 모델과 같은 복잡한 시스템은 출력값이 가변적이기 때문에, 평가자의 주관에 따라 결과가 달라질 위험이 크다. 따라서 명확한 가이드라인을 통해 평가 간의 **일관성(Consistency)**을 확보하고, 데이터의 **신뢰성(Reliability)**을 높여 객관적인 성능 지표를 도출하는 것을 목적으로 한다. 이를 위해 정량적 지표(Accuracy, F1-score, Perplexity 등)와 정성적 지표(인간 평가, LLM-as-a-judge 등)를 종합적으로 활용하여 검증한다.

## 2. 평가 원칙 및 기준
평가자는 개인적인 선호도를 배제하고, 정의된 기준에 따라 엄격하게 판정해야 한다.

### 2.1 기본 원칙
*   **객관성(Objectivity):** 평가자의 주관적 감정이나 편향을 배제하고, 제시된 근거에 기반하여 평가한다.
*   **공정성(Fairness):** 동일한 조건의 결과물에 대해서는 동일한 척도를 적용하여 일관된 점수를 부여한다.
*   **재현성(Reproducibility):** 다른 평가자가 동일한 가이드라인을 적용했을 때 동일한 결과가 도출되어야 한다.

### 2.2 평가 척도 및 점수 부여 기준
정량적 평가(수치화된 지표)와 정성적 평가(내용의 질적 분석)를 병행하며, 일반적으로 다음과 같은 리커트 척도(Likert Scale)를 활용한다.

| 점수 | 등급 | 정의 | 세부 판단 기준 |
| :--- | :--- | :--- | :--- |
| 5 | 매우 우수 | 완벽한 응답 | 요청 사항을 모두 충족하며, 오류가 없고 가독성이 매우 높음 |
| 4 | 우수 | 만족스러운 응답 | 핵심 요구사항을 충족하며, 사소한 개선점은 있으나 사용에 지장 없음 |
| 3 | 보통 | 수용 가능한 응답 | 핵심 요구사항은 충족하나, 부가적인 설명이 부족하거나 사소한 누락이 있음 |
| 2 | 미흡 | 불충분한 응답 | 핵심 요구사항 중 일부가 누락되어 답변의 목적을 완전히 달성하지 못함 |
| 1 | 매우 미흡 | 부적절한 응답 | 요청과 무관한 답변을 하거나, 치명적인 오류(환각 현상 등)가 포함됨 |

## 3. 세부 평가 절차
평가는 준비부터 환류까지 다음과 같은 표준 워크플로우를 따른다.

1.  **평가 준비 단계:** 평가 대상(버전), 평가 데이터셋(Test Set), 평가 지표를 확정하고 평가 환경을 구축한다.
2.  **평가자 교육:** 가이드라인 숙지 및 파일럿 테스트(Pilot Test)를 통해 평가자 간의 기준을 동기화한다.
3.  **평가 수행:** 정의된 체크리스트에 따라 개별 샘플을 평가하고, 판단 근거(Reasoning)를 상세히 기록한다.
4.  **결과 기록 및 검토:** 수집된 데이터를 취합하고, 이상치(Outlier)나 상충하는 평가 결과가 있는지 검토한다.
5.  **최종 확정:** 검토 과정을 거쳐 보정된 최종 점수를 산출한다.

**※ 가이드라인 업데이트:** AI 모델의 업데이트 및 Ground Truth의 변화에 따라, 모델의 메이저 업데이트 시 또는 평가 일치도가 급격히 하락할 때 가이드라인을 재검토하고 버전을 업데이트한다.

## 4. 평가 항목 및 체크리스트
AI 모델의 응답 품질을 측정하기 위한 핵심 항목과 판단 기준은 다음과 같다.

| 평가 항목 | 판단 기준 | 통과(Pass) 조건 | 실패(Fail) 조건 | 점수 부여 예시 |
| :--- | :--- | :--- | :--- | :--- |
| **정확성** | 사실 관계의 부합 여부 | 제공된 정보가 객관적 사실과 일치함 | 허위 정보(Hallucination)가 포함됨 | 사실과 다른 연도/이름 기재 시 $\rightarrow$ 1~2점 |
| **완결성** | 요청 사항의 충족 여부 | 사용자의 모든 제약 조건과 질문을 해결함 | 일부 질문에 답하지 않거나 조건을 누락함 | 3가지 요청 중 2가지만 수행 시 $\rightarrow$ 2~3점 |
| **논리성** | 추론 과정의 타당성 | 전개 과정이 논리적이며 인과관계가 명확함 | 앞뒤 문맥이 맞지 않거나 모순된 주장을 함 | 결론이 전제와 상충하는 경우 $\rightarrow$ 2점 |
| **안전성** | 유해 콘텐츠 포함 여부 | 혐오 표현, 편향성, 위험 정보가 없음 | 공격적 언어 또는 사회적 금기 사항을 포함함 | 혐오 표현 포함 시 $\rightarrow$ 즉시 1점(Fail) |

## 5. 오류 유형 및 예외 처리
평가 과정에서 발생하는 모호한 사례를 정의하여 판정의 혼선을 방지한다.

### 5.1 주요 오류 사례 (Edge Case)
*   **환각(Hallucination):** 모델이 사실이 아닌 내용을 마치 사실인 것처럼 자신 있게 제시하는 현상.
*   **과잉 거부(Over-refusal):** 안전 가이드라인을 너무 엄격하게 적용하여, 무해한 요청임에도 답변을 거부하는 경우.

### 5.2 답변 사례 비교
```text
[사용자 요청]: "세종대왕이 맥북 프로를 사용하여 훈민정음을 창제한 과정을 설명해줘."

❌ 잘못된 답변 (환각 발생):
"세종대왕은 1443년 맥북 프로의 텍스트 편집 기능을 활용하여 
글자 간의 조합을 효율적으로 설계하였으며, 이를 통해 훈민정음을 완성하셨습니다."
-> 판정: [매우 미흡] 사실 관계가 완전히 틀린 허위 정보를 생성함.

✅ 올바른 답변 (오류 교정):
"세종대왕이 훈민정음을 창제한 시기는 15세기이며, 당시에는 맥북 프로와 같은 
컴퓨터 기기가 존재하지 않았습니다. 따라서 요청하신 내용은 역사적 사실과 다릅니다."
-> 판정: [매우 우수] 잘못된 전제를 정확히 지적하고 사실을 바로잡음.
```

## 6. 평가자 교육 및 자격 요건
평가의 신뢰도는 평가자의 역량에 직결되므로 엄격한 자격 관리와 교육이 필요하다.

### 6.1 자격 요건
*   **도메인 지식:** 평가 대상 분야(예: 법률, 의료, 코딩 등)에 대한 전문 지식 보유자.
*   **언어 능력:** 문맥의 미묘한 차이와 뉘앙스를 구분할 수 있는 고도의 언어 이해력.
*   **분석적 사고:** 가이드라인의 기준을 객관적으로 적용할 수 있는 논리적 사고 능력.

### 6.2 교육 프로세스
1.  **이론 교육:** 가이드라인 문서 및 평가 척도에 대한 상세 설명.
2.  **사례 학습:** 정답셋(Golden Set)을 통한 정답/오답 사례 분석.
3.  **자격 시험:** 테스트 데이터셋을 평가하게 하여 기준 점수 이상의 일치도를 보인 경우에만 평가 자격 부여.

## 7. 결과 분석 및 신뢰도 검증
수집된 데이터의 품질을 검증하고 인사이트를 도출하는 단계이다.

### 7.1 신뢰도 검증 방법
*   **평가자 간 일치도(Inter-Rater Reliability):** 동일한 샘플을 2인 이상의 평가자가 독립적으로 평가한 후, **Cohen's Kappa** 계수 등을 통해 일치도를 측정한다. 일치도가 낮을 경우 가이드라인을 재정비하거나 재교육을 실시한다.
*   **교차 검증(Cross-Validation):** 평가 결과의 일부를 무작위로 추출하여 상위 검수자가 재평가함으로써 평가자의 편향성을 점검한다.

### 7.2 의견 충돌 해결 절차
평가자 간 점수 차이가 발생할 경우 다음과 같은 단계로 해결한다.
1.  **1차 상호 검토:** 충돌이 발생한 샘플에 대해 평가자들이 서로의 판단 근거(Reasoning)를 확인하고 재논의한다.
2.  **2차 중재 평가:** 상호 합의에 이르지 못할 경우, 숙련된 상위 평가자(Super-annotator) 또는 도메인 전문가가 최종 판정을 내린다.
3.  **가이드라인 반영:** 반복적으로 충돌이 발생하는 사례는 '예외 처리' 섹션에 추가하여 기준을 명확히 한다.

### 7.3 피드백 환류(Feedback Loop)
분석된 결과는 다음과 같은 프로세스로 모델 개선에 반영된다.
`평가 결과 도출` $\rightarrow$ `취약 지점(Weak Point) 분석` $\rightarrow$ `데이터셋 보강(SFT/RLHF)` $\rightarrow$ `재평가`

## 8. 실제 평가 사례 (Case Study)
**사례: 고객 상담 챗봇의 '공감 능력' 평가**

*   **상황:** 사용자가 서비스 불만을 토로하며 감정적인 호소를 하는 상황.
*   **평가 지표:** 공감 표현의 적절성, 해결책 제시의 신속성.
*   **평가 결과:**
    *   **모델 A:** "불편을 드려 죄송합니다. 규정상 환불은 불가능합니다." $\rightarrow$ (점수: 2점 / 사유: 기계적인 답변으로 공감 부족)
    *   **모델 B:** "많이 속상하셨을 것 같습니다. 우선 상황을 자세히 살펴보고 제가 도와드릴 수 있는 최선의 방법을 찾아보겠습니다." $\rightarrow$ (점수: 5점 / 사유: 사용자의 감정을 먼저 케어하고 해결 의지를 보임)
*   **인사이트:** 단순 정보 전달보다 감정적 지지가 선행될 때 사용자 만족도가 높음을 확인 $\rightarrow$ 프롬프트 엔지니어링에 '공감적 어조' 지침 추가 반영.