# 스트리밍 오류

LLM 서비스에서 응답을 받을 수 없습니다.

## 성능 모니터링 지표

LLM 서비스의 품질을 정량적으로 측정하기 위해 다음과 같은 핵심 성능 지표(KPI)를 모니터링해야 합니다.

### 주요 측정 기준
*   **응답 속도 (Latency):** 사용자가 요청을 보낸 시점부터 첫 번째 토큰을 받을 때까지의 시간(TTFT)과 전체 응답 완료까지의 시간을 측정합니다.
*   **처리량 (Throughput):** 단위 시간당 시스템이 처리하는 총 요청 수 또는 생성하는 총 토큰 수를 의미합니다.
*   **토큰 생성 속도 (TPS, Tokens Per Second):** 초당 생성되는 토큰 수로, 사용자가 체감하는 읽기 속도와 직결됩니다.

### 지표별 권장 임계치
| 지표 | 권장 임계치 (기준) | 상태 판단 | 비고 |
| :--- | :--- | :--- | :--- |
| **TTFT (Time to First Token)** | $\le$ 200ms ~ 500ms | 정상 | 1초 초과 시 사용자 이탈률 증가 |
| **TPS (Tokens Per Second)** | $\ge$ 30 ~ 50 tokens/s | 정상 | 일반적인 성인 읽기 속도 기준 |
| **End-to-End Latency** | $\le$ 5s (평균) | 정상 | 입력 길이 및 생성 길이에 따라 가변적 |
| **Error Rate** | $\le$ 0.1% | 정상 | 1% 초과 시 즉시 알람 발생 필요 |

## 리소스 최적화 및 분석

하드웨어 자원의 효율적 사용은 비용 절감과 성능 향상의 핵심입니다.

### 하드웨어 자원 모니터링
*   **GPU 사용률 및 메모리:** VRAM 점유율을 모니터링하여 OOM(Out of Memory) 발생 가능성을 예측하고, KV 캐시 최적화 상태를 확인합니다.
*   **CPU 및 시스템 메모리:** 전처리 과정 및 API 서버의 오버헤드를 확인하여 CPU 병목 여부를 판단합니다.
*   **네트워크 I/O:** 모델 서버와 클라이언트 간의 데이터 전송 지연 및 대역폭 포화 상태를 점검합니다.

### 병목 지점 분석 툴
| 구분 | 추천 도구 | 주요 용도 |
| :--- | :--- | :--- |
| **GPU 모니터링** | NVIDIA DCGM, Prometheus + Grafana | GPU 온도, 전력, 메모리 사용량 실시간 시각화 |
| **프로파일링** | PyTorch Profiler, NVIDIA Nsight | 연산 커널 단위의 병목 지점 및 메모리 누수 분석 |
| **분산 추적** | Jaeger, OpenTelemetry | 마이크로서비스 간 요청 흐름 및 구간별 지연 시간 추적 |
| **로그 분석** | ELK Stack (Elasticsearch, Logstash, Kibana) | 에러 로그 패턴 분석 및 요청-응답 상관관계 추적 |

## 스트리밍 안정화 및 끊김 해결

성능 저하로 인한 스트리밍 끊김(Stuttering) 및 타임아웃 현상을 해결하기 위한 설정 방안입니다.

### 끊김 현상 원인 및 해결법
1.  **네트워크 타임아웃 설정:**
    *   **문제:** HTTP 연결 유지 시간이 짧아 긴 응답 생성 중 연결이 강제로 종료됨.
    *   **해결:** Load Balancer 및 Reverse Proxy(Nginx 등)의 `keepalive_timeout`과 `proxy_read_timeout` 값을 생성 예상 최대 시간보다 길게 설정합니다.
2.  **버퍼링 최적화:**
    *   **문제:** 서버나 프록시 서버에서 응답을 일정량 모았다가 한꺼번에 보내는 버퍼링으로 인해 끊김 발생.
    *   **해결:** HTTP 헤더에 `X-Accel-Buffering: no`를 설정하거나, Nginx의 `proxy_buffering off` 설정을 적용하여 즉시 전송(Flush)을 강제합니다.
3.  **백프레셔(Backpressure) 관리:**
    *   **문제:** 클라이언트의 처리 속도보다 서버의 생성 속도가 빨라 큐가 쌓이며 지연 발생.
    *   **해결:** 적절한 윈도우 크기 조절 및 비동기 스트리밍 큐(Async Queue)를 도입하여 전송 속도를 조절합니다.