프롬프트 (Prompt) 1. 개요 프롬프트(Prompt)란 대규모 언어 모델(LLM, Large Language Model)로부터 특정 응답을 이끌어내기 위해 사용자가 입력하는 지시어나 질문, 데이터 등을 의미한다. 과거에는 주로 텍스트 기반의 입력에 국한되었으나, 최근의 멀티모달(Multimodal) 트렌드에 따라 이미지, 오디오, 파일 등 다양한 형태…
검색 결과
"LangSmith"에 대한 검색 결과 (총 2개)
스트리밍 오류 LLM 서비스에서 응답을 받을 수 없습니다. 성능 모니터링 지표 LLM 서비스의 품질을 정량적으로 측정하기 위해 다음과 같은 핵심 성능 지표(KPI)를 모니터링해야 합니다. 주요 측정 기준 응답 속도 (Latency): 사용자가 요청을 보낸 시점부터 첫 번째 토큰을 받을 때까지의 시간(TTFT)과 전체 응답 완료까지의 시간을 측정합니다. 처리…