# 스트리밍 오류

스트리밍 오류란 LLM(Large Language Model)이 응답을 생성하여 클라이언트로 전송하는 과정에서 네트워크 단절, 타임아웃, 서버 과부하 등으로 인해 응답이 중단되거나 정상적으로 전달되지 않는 현상을 말한다.

## 1. 주요 원인

### 1.1 네트워크 불안정성
클라이언트와 서버 간의 연결이 불안정하거나, 중간 프록시 서버 및 게이트웨이에서 연결을 강제로 종료할 때 발생한다. 특히 HTTP 스트리밍(Server-Sent Events 등) 연결이 장시간 유지되어야 하는 특성상 네트워크 변동성에 취약하다.

### 1.2 서버 측 타임아웃
모델의 추론 시간이 설정된 타임아웃 임계값을 초과하거나, 서버 내부의 리소스 부족으로 인해 응답 생성이 지연되어 연결이 끊어지는 경우이다.

### 1.3 토큰 제한 및 생성 중단
최대 토큰 제한(Max Tokens)에 도달하여 생성이 강제로 종료되거나, 모델 내부의 안전 필터(Safety Filter) 작동으로 인해 생성 도중 응답이 중단되는 현상이 발생한다.

## 2. 신뢰성 강화 방안 (해결책)

### 2.1 재시도 전략 (Retry Logic)
일시적인 네트워크 오류나 서버 과부하를 해결하기 위해 재시도 로직을 구현한다.
- **지수 백오프(Exponential Backoff):** 재시도 간격을 점진적으로 늘려 서버의 부하를 줄이고 복구 시간을 확보하는 알고리즘을 적용한다.
- **최대 재시도 횟수 설정:** 무한 루프를 방지하기 위해 최대 재시도 횟수를 제한한다.

```python
import time
import random

def call_llm_with_retry(prompt, max_retries=3):
    for i in range(max_retries):
        try:
            # LLM 스트리밍 호출 가상 코드
            return call_llm_api(prompt)
        except Exception as e:
            if i == max_retries - 1:
                raise e
            # 지수 백오프 적용: 2^i + 랜덤 지터
            wait_time = (2 ** i) + random.random()
            print(f"Error occurred. Retrying in {wait_time:.2f}s...")
            time.sleep(wait_time)
```

### 2.2 폴백 메커니즘 (Fallback)
주 서비스의 장애가 지속될 경우 대체 수단을 통해 서비스 연속성을 보장한다.
- **모델 폴백:** 고성능 모델(예: GPT-4)에서 오류 발생 시, 상대적으로 가볍고 빠른 모델(예: GPT-3.5)로 전환하여 응답을 시도한다.
- **정적 응답 제공:** 모든 재시도가 실패했을 때, 사용자에게 안내 메시지나 미리 정의된 기본 응답을 제공한다.

### 2.3 클라이언트 측 상태 관리
스트리밍 데이터의 유실을 방지하고 사용자 경험을 개선한다.
- **청크(Chunk) 버퍼링:** 수신된 텍스트 조각을 버퍼에 저장하여 렌더링 최적화를 수행한다.
- **연결 상태 모니터링:** 하트비트(Heartbeat) 체크를 통해 연결 단절을 빠르게 감지하고 사용자에게 알림을 제공한다.

## 3. 모니터링 및 디버깅
스트리밍 오류의 빈도와 원인을 분석하기 위해 다음과 같은 지표를 추적한다.
- **에러율 측정:** 전체 요청 대비 스트리밍 중단 발생 비율을 모니터링한다.
- **지연 시간 분석:** 첫 번째 토큰 생성 시간(TTFT, Time To First Token)과 전체 생성 시간을 기록하여 타임아웃 지점을 분석한다.
- **로그 기록:** HTTP 상태 코드 및 모델의 `finish_reason`을 기록하여 네트워크 문제인지 모델 제한 문제인지 구분한다.