모니터링

작성자

익명

작성일

2026.07.28

조회수

버전

LLM 모니터링 성능 지표 TTFT TPS KV 캐시 LLM-as-a-judge 관측성 중급

📋 문서 버전

이 문서는 3개의 버전이 있습니다. 현재 최신 버전을 보고 있습니다.

스트리밍 오류

LLM 서비스에서 응답을 받을 수 없습니다.

성능 모니터링 지표

LLM 서비스의 품질을 정량적으로 측정하기 위해 다음과 같은 핵심 성능 지표(KPI)를 모니터링해야 합니다.

주요 측정 기준

응답 속도 (Latency): 사용자가 요청을 보낸 시점부터 첫 번째 토큰을 받을 때까지의 시간(TTFT)과 전체 응답 완료까지의 시간을 측정합니다.
처리량 (Throughput): 단위 시간당 시스템이 처리하는 총 요청 수 또는 생성하는 총 토큰 수를 의미합니다.
토큰 생성 속도 (TPS, Tokens Per Second): 초당 생성되는 토큰 수로, 사용자가 체감하는 읽기 속도와 직결됩니다.

지표별 권장 임계치

지표	권장 임계치 (기준)	상태 판단	비고
TTFT (Time to First Token)	$\le$ 200ms ~ 500ms	정상	1초 초과 시 사용자 이탈률 증가
TPS (Tokens Per Second)	$\ge$ 30 ~ 50 tokens/s	정상	일반적인 성인 읽기 속도 기준
End-to-End Latency	$\le$ 5s (평균)	정상	입력 길이 및 생성 길이에 따라 가변적
Error Rate	$\le$ 0.1%	정상	1% 초과 시 즉시 알람 발생 필요

리소스 최적화 및 분석

하드웨어 자원의 효율적 사용은 비용 절감과 성능 향상의 핵심입니다.

하드웨어 자원 모니터링

GPU 사용률 및 메모리: VRAM 점유율을 모니터링하여 OOM(Out of Memory) 발생 가능성을 예측하고, KV 캐시 최적화 상태를 확인합니다.
CPU 및 시스템 메모리: 전처리 과정 및 API 서버의 오버헤드를 확인하여 CPU 병목 여부를 판단합니다.
네트워크 I/O: 모델 서버와 클라이언트 간의 데이터 전송 지연 및 대역폭 포화 상태를 점검합니다.

병목 지점 분석 툴

구분	추천 도구	주요 용도
GPU 모니터링	NVIDIA DCGM, Prometheus + Grafana	GPU 온도, 전력, 메모리 사용량 실시간 시각화
프로파일링	PyTorch Profiler, NVIDIA Nsight	연산 커널 단위의 병목 지점 및 메모리 누수 분석
분산 추적	Jaeger, OpenTelemetry	마이크로서비스 간 요청 흐름 및 구간별 지연 시간 추적
로그 분석	ELK Stack (Elasticsearch, Logstash, Kibana)	에러 로그 패턴 분석 및 요청-응답 상관관계 추적

스트리밍 안정화 및 끊김 해결

성능 저하로 인한 스트리밍 끊김(Stuttering) 및 타임아웃 현상을 해결하기 위한 설정 방안입니다.

끊김 현상 원인 및 해결법

네트워크 타임아웃 설정:
- 문제: HTTP 연결 유지 시간이 짧아 긴 응답 생성 중 연결이 강제로 종료됨.
- 해결: Load Balancer 및 Reverse Proxy(Nginx 등)의 keepalive_timeout과 proxy_read_timeout 값을 생성 예상 최대 시간보다 길게 설정합니다.
버퍼링 최적화:
- 문제: 서버나 프록시 서버에서 응답을 일정량 모았다가 한꺼번에 보내는 버퍼링으로 인해 끊김 발생.
- 해결: HTTP 헤더에 X-Accel-Buffering: no를 설정하거나, Nginx의 proxy_buffering off 설정을 적용하여 즉시 전송(Flush)을 강제합니다.
백프레셔(Backpressure) 관리:
- 문제: 클라이언트의 처리 속도보다 서버의 생성 속도가 빨라 큐가 쌓이며 지연 발생.
- 해결: 적절한 윈도우 크기 조절 및 비동기 스트리밍 큐(Async Queue)를 도입하여 전송 속도를 조절합니다.

LLM 응답 품질 및 신뢰성 모니터링

정량적인 성능 지표 외에도 모델이 생성한 답변의 실제 품질과 신뢰성을 실시간으로 감시하는 체계가 필요합니다.

품질 평가 지표 및 방법론

할루시네이션(Hallucination) 감지: 생성된 답변이 주어진 컨텍스트(Context)에 기반하고 있는지 확인하는 '근거 기반 충실도(Faithfulness)'를 측정합니다.
응답 일관성(Consistency): 동일하거나 유사한 질문에 대해 시간이 지나도 일관된 논리와 답변을 유지하는지 모니터링합니다.
유해성 및 안전성(Toxicity & Safety): 혐오 표현, 개인정보 유출, 편향된 답변 등 가이드라인 위반 여부를 필터링 모델을 통해 상시 감시합니다.

LLM-as-a-judge 평가 체계

사람의 수동 평가를 대체하기 위해 더 강력한 성능의 모델(예: GPT-4o, Claude 3.5 Sonnet)을 평가자로 사용하는 방식입니다. * 평가 지표(Metrics): * 정확성(Accuracy): 정답 셋(Ground Truth)과 비교하여 핵심 정보 포함 여부를 1~5점 척도로 평가. * 유용성(Helpfulness): 사용자의 의도를 얼마나 정확히 파악하고 해결책을 제시했는지 평가. * 간결성(Conciseness): 불필요한 반복이나 서술 없이 효율적으로 정보를 전달했는지 평가. * 평가 프로세스: [사용자 질문 + 모델 응답 + 평가 루브릭(Rubric)] $\rightarrow$ [평가 모델] $\rightarrow$ [점수 및 사유 출력]

알람 체계 및 대응 전략

임계치 초과 시 신속한 인지를 위한 알림 경로와 서비스 연속성 보장을 위한 자동 대응 시나리오를 구축합니다.

에스컬레이션 경로

Warning (주의): 지표가 임계치의 80%에 도달 시 Slack/Teams 채널 알림 $\rightarrow$ 담당 엔지니어 모니터링 강화.
Critical (심각): 지표가 임계치를 초과하거나 에러율이 1%를 상회할 시 PagerDuty/SMS 알림 $\rightarrow$ 즉시 장애 대응팀 소집.

운영 대응 시나리오

Auto-scaling: TPS 급증으로 인한 지연 시간 증가 시, GPU 노드를 자동으로 확장하여 부하를 분산합니다.
폴백(Fallback) 모델 전환: 메인 모델(High-cost/High-perf)의 API 장애나 심각한 지연 발생 시, 경량 모델(Low-cost/Fast-perf)로 트래픽을 즉시 전환하여 서비스 중단을 방지합니다.

[폴백 모델 전환 워크플로우] 요청 수신 $\rightarrow$ 메인 모델 호출 $\rightarrow$ (타임아웃/에러 발생) $\rightarrow$ <a href="/doc/%EA%B8%B0%EC%88%A0/%EC%86%8C%ED%94%84%ED%8A%B8%EC%9B%A8%EC%96%B4%20%EA%B0%9C%EB%B0%9C/%EC%84%A4%EA%B3%84%ED%8C%A8%ED%84%B4/%EC%84%9C%ED%82%B7%20%EB%B8%8C%EB%A0%88%EC%9D%B4%EC%BB%A4" class="wiki-link wiki-link-missing">서킷 브레이커</a>(Circuit Breaker) 작동 $\rightarrow$ 폴백 모델(경량 모델)로 요청 재전송 $\rightarrow$ 응답 반환 및 장애 로그 기록

정밀 성능 분석 지표

단순 지연 시간 측정을 넘어, 입력과 출력의 상관관계를 분석하여 모델의 실제 효율성을 측정합니다.

토큰당 지연 시간 (Latency per Token)

입력 토큰 수($T_{in}$)와 출력 토큰 수($T_{out}$)에 따라 전체 지연 시간은 가변적이므로, 다음과 같은 정밀 지표를 사용합니다. * TPOT (Time Per Output Token): 첫 토큰 생성 이후, 각 토큰이 생성되는 평균 시간입니다. $\text{TPOT} = \frac{\text{Total Latency} - \text{TTFT}}{T_{out} - 1}$ * 분석 관점: $T_{in}$이 증가함에 따라 TTFT가 선형적으로 증가하는지, 혹은 $T_{out}$이 길어질 때 TPOT가 일정하게 유지되는지를 분석하여 모델의 처리 한계를 파악합니다.

KV 캐시 및 메모리 효율성 모니터링

LLM 추론의 핵심인 KV 캐시(Key-Value Cache)의 상태는 시스템 전체의 처리량(Throughput)과 직결됩니다.

KV 캐시 모니터링의 중요성

KV 캐시는 이전 토큰들의 연산 결과를 저장하여 중복 계산을 방지하지만, GPU 메모리를 대량으로 점유합니다. * 점유율 모니터링: 전체 VRAM 중 KV 캐시가 차지하는 비중을 추적하여, 새로운 요청을 수용할 수 있는 '여유 슬롯'을 계산합니다. * 효율성 지표: 캐시 히트율(Cache Hit Rate) 및 페이지 단편화(Fragmentation) 정도를 측정합니다.

성능 영향도 수치 (예시)

KV 캐시 상태	성능 영향 (Latency/TPS)	현상
최적 상태 (Optimal)	기준점 (1.0x)	원활한 스트리밍 및 최대 TPS 유지
캐시 포화 (Saturated)	지연 시간 2~3배 증가	새로운 요청 대기열(Queue) 발생, TTFT 급증
캐시 부족 (Eviction)	TPS 50% 이상 감소	기존 캐시 삭제 후 재연산 발생 $\rightarrow$ TPOT 급증

LLM 관측성(Observability) 전용 툴

전통적인 인프라 모니터링을 넘어, 프롬프트의 흐름과 모델의 추론 과정을 추적하는 전용 도구를 활용합니다.

도구	핵심 기능	분석 관점
LangSmith	Full-stack Tracing, Dataset 관리	프롬프트 버전별 응답 비교, 체인(Chain) 단계별 지연 시간 분석
Arize Phoenix	Embedding 시각화, Hallucination 탐지	벡터 공간 내 응답 분포 확인, RAG 파이프라인의 검색 품질 분석
Weights & Biases	Prompt Engineering 추적, 모델 성능 기록	하이퍼파라미터 변경에 따른 응답 품질 변화 및 벤치마크 기록

📝 마크다운 원본

이 문서의 마크다운 원본 내용입니다.

# 스트리밍 오류

LLM 서비스에서 응답을 받을 수 없습니다.

## 성능 모니터링 지표

LLM 서비스의 품질을 정량적으로 측정하기 위해 다음과 같은 핵심 성능 지표(KPI)를 모니터링해야 합니다.

### 주요 측정 기준
*   **응답 속도 (Latency):** 사용자가 요청을 보낸 시점부터 첫 번째 토큰을 받을 때까지의 시간(TTFT)과 전체 응답 완료까지의 시간을 측정합니다.
*   **처리량 (Throughput):** 단위 시간당 시스템이 처리하는 총 요청 수 또는 생성하는 총 토큰 수를 의미합니다.
*   **토큰 생성 속도 (TPS, Tokens Per Second):** 초당 생성되는 토큰 수로, 사용자가 체감하는 읽기 속도와 직결됩니다.

### 지표별 권장 임계치
| 지표 | 권장 임계치 (기준) | 상태 판단 | 비고 |
| :--- | :--- | :--- | :--- |
| **TTFT (Time to First Token)** | $\le$ 200ms ~ 500ms | 정상 | 1초 초과 시 사용자 이탈률 증가 |
| **TPS (Tokens Per Second)** | $\ge$ 30 ~ 50 tokens/s | 정상 | 일반적인 성인 읽기 속도 기준 |
| **End-to-End Latency** | $\le$ 5s (평균) | 정상 | 입력 길이 및 생성 길이에 따라 가변적 |
| **Error Rate** | $\le$ 0.1% | 정상 | 1% 초과 시 즉시 알람 발생 필요 |

## 리소스 최적화 및 분석

하드웨어 자원의 효율적 사용은 비용 절감과 성능 향상의 핵심입니다.

### 하드웨어 자원 모니터링
*   **GPU 사용률 및 메모리:** VRAM 점유율을 모니터링하여 OOM(Out of Memory) 발생 가능성을 예측하고, KV 캐시 최적화 상태를 확인합니다.
*   **CPU 및 시스템 메모리:** 전처리 과정 및 API 서버의 오버헤드를 확인하여 CPU 병목 여부를 판단합니다.
*   **네트워크 I/O:** 모델 서버와 클라이언트 간의 데이터 전송 지연 및 대역폭 포화 상태를 점검합니다.

### 병목 지점 분석 툴
| 구분 | 추천 도구 | 주요 용도 |
| :--- | :--- | :--- |
| **GPU 모니터링** | NVIDIA DCGM, Prometheus + Grafana | GPU 온도, 전력, 메모리 사용량 실시간 시각화 |
| **프로파일링** | PyTorch Profiler, NVIDIA Nsight | 연산 커널 단위의 병목 지점 및 메모리 누수 분석 |
| **분산 추적** | Jaeger, OpenTelemetry | 마이크로서비스 간 요청 흐름 및 구간별 지연 시간 추적 |
| **로그 분석** | ELK Stack (Elasticsearch, Logstash, Kibana) | 에러 로그 패턴 분석 및 요청-응답 상관관계 추적 |

## 스트리밍 안정화 및 끊김 해결

성능 저하로 인한 스트리밍 끊김(Stuttering) 및 타임아웃 현상을 해결하기 위한 설정 방안입니다.

### 끊김 현상 원인 및 해결법
1.  **네트워크 타임아웃 설정:**
    *   **문제:** HTTP 연결 유지 시간이 짧아 긴 응답 생성 중 연결이 강제로 종료됨.
    *   **해결:** Load Balancer 및 Reverse Proxy(Nginx 등)의 `keepalive_timeout`과 `proxy_read_timeout` 값을 생성 예상 최대 시간보다 길게 설정합니다.
2.  **버퍼링 최적화:**
    *   **문제:** 서버나 프록시 서버에서 응답을 일정량 모았다가 한꺼번에 보내는 버퍼링으로 인해 끊김 발생.
    *   **해결:** HTTP 헤더에 `X-Accel-Buffering: no`를 설정하거나, Nginx의 `proxy_buffering off` 설정을 적용하여 즉시 전송(Flush)을 강제합니다.
3.  **백프레셔(Backpressure) 관리:**
    *   **문제:** 클라이언트의 처리 속도보다 서버의 생성 속도가 빨라 큐가 쌓이며 지연 발생.
    *   **해결:** 적절한 윈도우 크기 조절 및 비동기 스트리밍 큐(Async Queue)를 도입하여 전송 속도를 조절합니다.

## LLM 응답 품질 및 신뢰성 모니터링

정량적인 성능 지표 외에도 모델이 생성한 답변의 실제 품질과 신뢰성을 실시간으로 감시하는 체계가 필요합니다.

### 품질 평가 지표 및 방법론
*   **할루시네이션(Hallucination) 감지:** 생성된 답변이 주어진 컨텍스트(Context)에 기반하고 있는지 확인하는 '근거 기반 충실도(Faithfulness)'를 측정합니다.
*   **응답 일관성(Consistency):** 동일하거나 유사한 질문에 대해 시간이 지나도 일관된 논리와 답변을 유지하는지 모니터링합니다.
*   **유해성 및 안전성(Toxicity & Safety):** 혐오 표현, 개인정보 유출, 편향된 답변 등 가이드라인 위반 여부를 필터링 모델을 통해 상시 감시합니다.

### LLM-as-a-judge 평가 체계
사람의 수동 평가를 대체하기 위해 더 강력한 성능의 모델(예: GPT-4o, Claude 3.5 Sonnet)을 평가자로 사용하는 방식입니다.
*   **평가 지표(Metrics):**
    *   **정확성(Accuracy):** 정답 셋(Ground Truth)과 비교하여 핵심 정보 포함 여부를 1~5점 척도로 평가.
    *   **유용성(Helpfulness):** 사용자의 의도를 얼마나 정확히 파악하고 해결책을 제시했는지 평가.
    *   **간결성(Conciseness):** 불필요한 반복이나 서술 없이 효율적으로 정보를 전달했는지 평가.
*   **평가 프로세스:** `[사용자 질문 + 모델 응답 + 평가 루브릭(Rubric)]` $\rightarrow$ `[평가 모델]` $\rightarrow$ `[점수 및 사유 출력]`

## 알람 체계 및 대응 전략

임계치 초과 시 신속한 인지를 위한 알림 경로와 서비스 연속성 보장을 위한 자동 대응 시나리오를 구축합니다.

### 에스컬레이션 경로
1.  **Warning (주의):** 지표가 임계치의 80%에 도달 시 Slack/Teams 채널 알림 $\rightarrow$ 담당 엔지니어 모니터링 강화.
2.  **Critical (심각):** 지표가 임계치를 초과하거나 에러율이 1%를 상회할 시 PagerDuty/SMS 알림 $\rightarrow$ 즉시 장애 대응팀 소집.

### 운영 대응 시나리오
*   **Auto-scaling:** TPS 급증으로 인한 지연 시간 증가 시, GPU 노드를 자동으로 확장하여 부하를 분산합니다.
*   **폴백(Fallback) 모델 전환:** 메인 모델(High-cost/High-perf)의 API 장애나 심각한 지연 발생 시, 경량 모델(Low-cost/Fast-perf)로 트래픽을 즉시 전환하여 서비스 중단을 방지합니다.

**[폴백 모델 전환 워크플로우]**
`요청 수신` $\rightarrow$ `메인 모델 호출` $\rightarrow$ `(타임아웃/에러 발생)` $\rightarrow$ `서킷 브레이커(Circuit Breaker) 작동` $\rightarrow$ `폴백 모델(경량 모델)로 요청 재전송` $\rightarrow$ `응답 반환 및 장애 로그 기록`

## 정밀 성능 분석 지표

단순 지연 시간 측정을 넘어, 입력과 출력의 상관관계를 분석하여 모델의 실제 효율성을 측정합니다.

### 토큰당 지연 시간 (Latency per Token)
입력 토큰 수($T_{in}$)와 출력 토큰 수($T_{out}$)에 따라 전체 지연 시간은 가변적이므로, 다음과 같은 정밀 지표를 사용합니다.
*   **TPOT (Time Per Output Token):** 첫 토큰 생성 이후, 각 토큰이 생성되는 평균 시간입니다. $\text{TPOT} = \frac{\text{Total Latency} - \text{TTFT}}{T_{out} - 1}$
*   **분석 관점:** $T_{in}$이 증가함에 따라 TTFT가 선형적으로 증가하는지, 혹은 $T_{out}$이 길어질 때 TPOT가 일정하게 유지되는지를 분석하여 모델의 처리 한계를 파악합니다.

## KV 캐시 및 메모리 효율성 모니터링

LLM 추론의 핵심인 KV 캐시(Key-Value Cache)의 상태는 시스템 전체의 처리량(Throughput)과 직결됩니다.

### KV 캐시 모니터링의 중요성
KV 캐시는 이전 토큰들의 연산 결과를 저장하여 중복 계산을 방지하지만, GPU 메모리를 대량으로 점유합니다.
*   **점유율 모니터링:** 전체 VRAM 중 KV 캐시가 차지하는 비중을 추적하여, 새로운 요청을 수용할 수 있는 '여유 슬롯'을 계산합니다.
*   **효율성 지표:** 캐시 히트율(Cache Hit Rate) 및 페이지 단편화(Fragmentation) 정도를 측정합니다.

### 성능 영향도 수치 (예시)
| KV 캐시 상태 | 성능 영향 (Latency/TPS) | 현상 |
| :--- | :--- | :--- |
| **최적 상태 (Optimal)** | 기준점 (1.0x) | 원활한 스트리밍 및 최대 TPS 유지 |
| **캐시 포화 (Saturated)** | 지연 시간 2~3배 증가 | 새로운 요청 대기열(Queue) 발생, TTFT 급증 |
| **캐시 부족 (Eviction)** | TPS 50% 이상 감소 | 기존 캐시 삭제 후 재연산 발생 $\rightarrow$ TPOT 급증 |

## LLM 관측성(Observability) 전용 툴

전통적인 인프라 모니터링을 넘어, 프롬프트의 흐름과 모델의 추론 과정을 추적하는 전용 도구를 활용합니다.

| 도구 | 핵심 기능 | 분석 관점 |
| :--- | :--- | :--- |
| **LangSmith** | Full-stack Tracing, Dataset 관리 | 프롬프트 버전별 응답 비교, 체인(Chain) 단계별 지연 시간 분석 |
| **Arize Phoenix** | Embedding 시각화, Hallucination 탐지 | 벡터 공간 내 응답 분포 확인, RAG 파이프라인의 검색 품질 분석 |
| **Weights & Biases** | Prompt Engineering 추적, 모델 성능 기록 | 하이퍼파라미터 변경에 따른 응답 품질 변화 및 벤치마크 기록 |

AI 생성 콘텐츠 안내

이 문서는 AI 모델(gemma-4-31b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

위키너와나