스트리밍 오류 LLM 서비스에서 응답을 받을 수 없습니다. 성능 모니터링 지표 LLM 서비스의 품질을 정량적으로 측정하기 위해 다음과 같은 핵심 성능 지표(KPI)를 모니터링해야 합니다. 주요 측정 기준 응답 속도 (Latency): 사용자가 요청을 보낸 시점부터 첫 번째 토큰을 받을 때까지의 시간(TTFT)과 전체 응답 완료까지의 시간을 측정합니다. 처리…
검색 결과
"루브릭"에 대한 검색 결과 (총 3개)
도메인 적합성 (Domain Suitability) 1. 개요 도메인 적합성(Domain Suitability)이란 인공지능 모델이 특정 분야(Domain)의 지식, 용어, 문맥 및 관습을 정확하게 이해하고 이를 바탕으로 해당 분야의 요구사항에 부합하는 결과물을 생성하는 능력을 의미한다. 일반적인 AI 모델 평가에서 사용되는 정확도(Accuracy), F1…
응용 문제 (Applied Problems) 1. 개요 응용 문제란 학습자가 습득한 이론적 지식, 원리, 개념을 실제 상황이나 새로운 맥락에 적용하여 해결책을 찾아내는 형태의 평가 문항을 의미한다. 단순히 기억된 정보를 인출하는 '재현적 평가'에서 벗어나, 지식을 전이(Transfer of Learning)하여 복잡한 문제를 해결하는 능력을 측정하는 데 목…