스트리밍 오류 LLM 서비스에서 응답을 받을 수 없습니다. 성능 모니터링 지표 LLM 서비스의 품질을 정량적으로 측정하기 위해 다음과 같은 핵심 성능 지표(KPI)를 모니터링해야 합니다. 주요 측정 기준 응답 속도 (Latency): 사용자가 요청을 보낸 시점부터 첫 번째 토큰을 받을 때까지의 시간(TTFT)과 전체 응답 완료까지의 시간을 측정합니다. 처리…
검색 결과
검색어를 입력하세요.
목적 달성 가능성 (Goal Attainment Probability) 목적 달성 가능성이란 LLM(대규모 언어 모델)이 사용자의 의도를 정확히 파악하여 최종적으로 원하는 결과물을 생성해낼 확률을 의미합니다. 이는 입력되는 프롬프트의 정교함, 제공된 컨텍스트의 품질, 그리고 사용된 모델의 추론 성능에 따라 결정됩니다. 측정 방법 목적 달성 가능성은 정성적 …
평가 가이드라인 1. 개요 평가 가이드라인이란 평가 지표의 정의, 평가자가 준수해야 할 판정 기준, 그리고 데이터 수집 및 검증 절차를 체계화한 문서이다. 인공지능(AI) 모델과 같은 복잡한 시스템은 출력값이 가변적이기 때문에, 평가자의 주관에 따라 결과가 달라질 위험이 크다. 따라서 명확한 가이드라인을 통해 평가 간의 일관성(Consistency)을 확보…
수동 평가 (Manual Evaluation) 개요 수동 평가(Manual Evaluation)란 인공지능(AI), 특히 자연어 처리(NLP) 및 생성형 AI 모델의 성능을 측정할 때, 컴퓨터가 자동으로 계산하는 지표(예: BLEU, ROUGE, 정확도 등)에 의존하지 않고, 전문가나 인간 평가자(Human Evaluator)가 직접 모델의 출력 결과를 분…