Kubelet 1. 개요 Kubelet은 쿠버네티스 클러스터의 각 노드(Node)에서 실행되는 기본 에이전트로, API 서버로부터 전달받은 PodSpec(포드 사양)에 따라 컨테이너가 정상적으로 실행되고 유지되도록 관리하는 역할을 수행합니다. Kubelet은 컨트롤 플레인(Control Plane)과 워커 노드(Worker Node) 사이의 가교 역할을 하…
검색 결과
"Eviction"에 대한 검색 결과 (총 4개)
스트리밍 오류 LLM 서비스에서 응답을 받을 수 없습니다. 성능 모니터링 지표 LLM 서비스의 품질을 정량적으로 측정하기 위해 다음과 같은 핵심 성능 지표(KPI)를 모니터링해야 합니다. 주요 측정 기준 응답 속도 (Latency): 사용자가 요청을 보낸 시점부터 첫 번째 토큰을 받을 때까지의 시간(TTFT)과 전체 응답 완료까지의 시간을 측정합니다. 처리…
서버 캐시 (Server Cache) 서버 캐시는 자주 요청되는 데이터나 계산 비용이 높은 결과물을 고속 접근이 가능한 임시 저장소에 보관하여, 동일한 요청 시 원본 데이터 소스(DB, API 등)에 접근하지 않고 빠르게 응답을 제공하는 기술이다. 목차 1. 개요 2. 캐시 계층 구조 (Caching Layers) 3. 로컬 캐시 vs 글로벌 캐시 4. 캐…
LRU (Least Recently Used) 1. 개요 LRU(Least Recently Used)는 캐시 교체 알고리즘의 하나로, 가장 오랫동안 참조되지 않은 데이터를 우선적으로 제거하여 새로운 데이터를 수용하는 메모리 관리 전략이다. 이 알고리즘은 "최근에 사용된 데이터가 가까운 미래에 다시 사용될 가능성이 높다"는 가정하에 동작하며, 한정된 캐시 공…