# 스트리밍 오류

LLM 서비스에서 응답을 받을 수 없습니다.

## 이터레이션(Iteration)의 정의와 원리

이터레이션은 소프트웨어 개발 및 알고리즘 설계에서 특정 절차나 계산 과정을 반복적으로 수행하여 원하는 결과에 도달하거나, 결과물을 점진적으로 개선 및 최적화하는 프로세스를 의미합니다. 

컴퓨터 과학에서 이터레이션은 주로 다음과 같은 방식으로 구현됩니다.

**1. 루프문(Loop)을 이용한 반복**
정해진 횟수나 특정 조건이 충족될 때까지 동일한 코드 블록을 실행하는 방식입니다.
```python
# 예시: 리스트의 모든 요소를 순회하는 이터레이션
items = ['token1', 'token2', 'token3']
for item in items:
    print(f"Processing: {item}")
```

**2. 재귀 함수(Recursion)를 이용한 반복**
함수가 자기 자신을 다시 호출함으로써 문제를 더 작은 단위로 쪼개어 해결하는 방식입니다.
```python
# 예시: 팩토리얼 계산을 통한 재귀적 이터레이션
def factorial(n):
    if n == 1: return 1
    return n * factorial(n - 1)

print(factorial(5))
```

## LLM 응답 생성과 이터레이션

대규모 언어 모델(LLM)의 텍스트 생성은 **자기회귀(Autoregressive)** 방식의 이터레이션 과정을 거칩니다. 모델은 한 번에 전체 문장을 만드는 것이 아니라, 이전까지 생성된 모든 토큰을 입력으로 삼아 바로 다음의 단일 토큰을 예측하는 과정을 반복합니다.

**자기회귀 생성 단계 도식도**
`입력 프롬프트` $\rightarrow$ `[Iteration 1]` $\rightarrow$ `토큰 A 생성` $\rightarrow$ `(프롬프트 + 토큰 A)` $\rightarrow$ `[Iteration 2]` $\rightarrow$ `토큰 B 생성` $\rightarrow$ `(프롬프트 + 토큰 A + 토큰 B)` $\rightarrow$ `...` $\rightarrow$ `[EOS 토큰 생성 시 종료]`

이 과정에서 각 이터레이션의 결과물이 실시간으로 사용자에게 전달되는 방식이 바로 **스트리밍(Streaming)** 출력입니다. 사용자는 전체 응답이 완성될 때까지 기다리지 않고, 모델이 수행하는 이터레이션의 매 단계 결과물을 즉각적으로 확인할 수 있습니다.

## 스트리밍 중단 원인 및 재시도 로직

스트리밍 출력 중 발생하는 오류는 단순한 서버 응답 불가 상태와 달리, 이터레이션 과정 중에 발생하는 동적인 문제인 경우가 많습니다.

**1. 기술적 중단 원인**
*   **네트워크 불안정성**: HTTP 연결이 유지되어야 하는 Server-Sent Events(SSE) 특성상, 일시적인 네트워크 패킷 손실이나 타임아웃으로 인해 연결이 끊길 수 있습니다.
*   **토큰 생성 제한(Max Tokens)**: 설정된 최대 토큰 길이에 도달하여 모델이 강제로 생성을 중단한 경우입니다.
*   **컨텍스트 윈도우 초과**: 이터레이션이 반복됨에 따라 입력 및 출력 토큰의 합이 모델의 최대 처리 용량을 초과하여 오류가 발생할 수 있습니다.

**2. 재시도 및 복구 로직(Retry Logic)**
스트리밍 중단 시 사용자 경험을 최적화하기 위해 다음과 같은 보강 로직이 필요합니다.
*   **지수 백오프(Exponential Backoff)**: 네트워크 오류 시 즉시 재시도하지 않고, 재시도 간격을 점진적으로 늘려 서버 부하를 줄이며 연결을 재시도합니다.
*   **체크포인트 기반 재개**: 중단된 시점까지 수신한 토큰들을 다시 프롬프트에 포함시켜, 끊긴 지점부터 다시 생성을 요청하는 '부분 재시작' 로직을 구현합니다.
*   **상태 모니터링**: `done` 플래그나 `EOS(End of Sentence)` 토큰 수신 여부를 확인하여, 정상 종료인지 비정상 중단인지를 판별하는 검증 단계를 추가합니다.