스트리밍 오류 LLM 서비스에서 응답을 받을 수 없습니다. 성능 모니터링 지표 LLM 서비스의 품질을 정량적으로 측정하기 위해 다음과 같은 핵심 성능 지표(KPI)를 모니터링해야 합니다. 주요 측정 기준 응답 속도 (Latency): 사용자가 요청을 보낸 시점부터 첫 번째 토큰을 받을 때까지의 시간(TTFT)과 전체 응답 완료까지의 시간을 측정합니다. 처리…
검색 결과
"ETRI"에 대한 검색 결과 (총 335개)
OAEP (Optimal Asymmetric Encryption Padding) 1. 개요 OAEP(Optimal Asymmetric Encryption Padding)는 RSA와 같은 공개키 암호화 방식에서 평문을 암호화하기 전, 데이터의 무작위성을 부여하고 구조적 무결성을 확보하기 위해 사용하는 최적 비대칭 암호화 패딩 방식이다. 공개키 암호화 알고리즘…
고정점 (Fixed Point) 개요 고정점(Fixed Point)이란 어떤 함수 에 대하여 를 만족하는 원소 를 의미한다. 즉, 함수에 의해 변환된 후에도 값이 변하지 않고 그대로 유지되는 점을 말한다. 기하학적 관점에서 고정점은 함수 의 그래프와 직선 가 만나는 교점의 좌표와 일치한다. (그림: 와 의 교점이 고정점이 되는 원리) 이는 입력값과 출력값이…
LLM (거대 언어 모델) 1. 개요 LLM(Large Language Model, 거대 언어 모델)은 방대한 양의 텍스트 데이터를 학습하여 인간과 유사한 자연어를 이해하고 생성할 수 있도록 설계된 인공신경망 기반의 딥러닝 모델이다. 여기서 '거대(Large)'함은 크게 두 가지 측면을 의미한다. 첫째는 파라미터(Parameter, 매개변수)의 수로, 모델…
위성 데이터 (Satellite Data) 위성 데이터란 인공위성에 탑재된 다양한 센서를 통해 지구 표면, 대기, 해양 또는 우주 공간으로부터 수집한 정보를 의미합니다. 이러한 데이터는 광범위한 지역을 주기적으로 관측할 수 있다는 장점이 있어, 지상 관측만으로는 파악하기 어려운 지구 규모의 변화를 분석하는 데 필수적인 자원으로 활용됩니다. 1. 위성 데이터…
정보 검색 개요 정보 검색(Information Retrieval, IR)은 사용자가 필요로 하는 정보를 대의 데이터 집합에서 효과적이고 효율적으로 찾아내는 기 및 과정을 의미합니다. 이는 전통적인 도서관 카탈로그 시스템에서 시작되어, 오늘날 인터넷 기반의 검색 엔진, 기업 내 문서 관리 시스템, 추천 시스템 등 다양한 분야에 적용되고 있습니다. 정보 검색…
Collector (데이터 수집 에이전트) 개요 Collector(컬렉터)는 분산 시스템, 클라우드 인프라, 또는 대규모 네트워크 환경에서 데이터 수집 에이전트(Data Collection Agent)의 역할을 수행하는 소프트웨어 컴포넌트 또는 아키텍처 패턴을 지칭합니다. 현대 IT 인프라에서 Collector는 서버의 메트릭(Metric), 로그(Log)…
분류 (Classification) 개요 분류(Classification)는 데이터과학에서 가장 핵심적인 기계학습(ML) 기법 중 하나로, 주어진 데이터를 사전 정의된 범주 또는 클래스에 할당하는 과정을 의미합니다. 이는 지도학습(Supervised Learning)의 대표적 유형으로, 입력 데이터(X)와 그에 해당하는 레이블(Y)을 기반으로 모델을 학습시…
공정성 개요 인공지능(A)의 공정성(Fair)은 AI 시스템이 개인 집단에 대해 차별적이거나 편향된 결정을 내리지 않도록 보장하는 핵심 윤리 원칙입니다. AI 기술이 의료, 채용, 금융, 사법 등 민감한 분야에 광범위하게 적용되면서, 시스템의 판단이 특정 인종, 성별, 연령, 지역, 사회경제적 지위 등에 따라 불공정한 결과를 초래하지 않도록 하는 것이 점점…
기하학적 의미 기하학적 의미(Geometric Meaning)는 수학적 개념이나 수식, 연산이 공간상에서 어떤 형태로 해석될 수 있는지를 설명하는 개념이다. 이는 대수적 표현이나 수치적 결과가 단순한 계산을 넘어서 시각적이고 직관적인 이해를 가능하게 하며, 수학 전반에서 중요한 역할을 한다. 특히 기하학은 수학의 오랜 전통 속에서 공간과 도형의 성질을 연구…
평균 개요 평균은 통계학에서 자주 사용되는 중심 경향성 측도로, 데이터 집합의 대표값을 나타냅니다. 주로 산술 평균, 기하 평균, 조화 평균 등으로 구분되며, 회귀 분석과 같은 통계적 모델링에서 중요한 역할을 합니다. 본 문서에서는 평균의 정의, 종류, 통계학에서의 활용 및 회귀 분석과의 연관성을 설명합니다. 1. 평균의 정의와 종류 1.1 산술 평균 (A…
내열성 개요 내열성(耐熱性, Thermal Resistance)은 재료가 고온 환경에서도 물리적, 화학적 성질을 유지하며 변형, 열화, 또는 파손되지 않고 기능을 수행할 수 있는 능력을 의미한다. 재료공학에서 내열성은 고온에서의 응용이 많은 산업 분야, 예를 들어 항공우주, 자동차, 전자기기, 에너지 시스템 등에서 핵심적인 성능 지표 중 하나이다. 내열성이…
매개변수 표현 매개변수 표현(Parameter Representation)은 수학에서 곡선,면 또는 더 복잡한 기하학적 객체를 매개변수(parameter)를 이용하여 정의하는이다. 이 방식은존의 함수 표현인 형태로 표현하기 어려운 곡선이나 다차원 도형을 보다 유연하고 직관적으로 기술할 수 있게 해준다. 특히, 평면 곡선, 공간 곡선, 물리학에서의 운동 경로…
생체 데이터 (Biometric Data) 1. 개요 생체 데이터란 개인의 신체적 특징이나 행동적 특성에서 추출한 고유한 생물학적 정보를 디지털 형태로 변환한 데이터를 의미한다. 이는 개개인마다 서로 다른 고유성(Uniqueness)을 가지고 있어, 신원 확인(Identification) 및 인증(Authentication)의 핵심 수단으로 활용된다. 생체…
가독성 (Readability) 1. 개요 소프트웨어 공학에서 가독성(Readability)이란 사람이 소스 코드 및 관련 기술 문서를 읽고 그 의도와 동작 방식을 얼마나 쉽고 빠르게 이해할 수 있는지를 나타내는 척도이다. 현대의 소프트웨어 개발은 단독 작업보다 팀 단위의 협업으로 이루어지며, 작성된 코드는 작성자 본인을 포함한 여러 개발자에 의해 지속적으…
클러스터링 개요 클러스터링(Clustering)은 데이터 포인트를 유사성에 따라 그룹화하는 비지도 학습(unsupervised learning) 기법으로, 데이터의 내재적 구조를 탐색하고 패턴을 발견하는 데 활용됩니다. 이는 분석가들이 대규모 데이터 세트에서 의미 있는 정보를 추출할 수 있도록 도와주며, 마케팅, 생물정보학, 이미지 처리 등 다양한 분야에서…
스트리밍 오류 스트리밍 오류란 LLM(Large Language Model)이 응답을 생성하여 클라이언트로 전송하는 과정에서 네트워크 단절, 타임아웃, 서버 과부하 등으로 인해 응답이 중단되거나 정상적으로 전달되지 않는 현상을 말한다. 1. 주요 원인 1.1 네트워크 불안정성 클라이언트와 서버 간의 연결이 불안정하거나, 중간 프록시 서버 및 게이트웨이에서 …
L1 정규화 개요/소개 L1 정규화(L1 Regularization)는 머신러닝 모델의 과적합(overfitting)을 방지하기 위해 사용되는 중요한 기법 중 하나입니다. 이 방법은 모델의 파라미터(계수)에 절대값을 기반으로 페널티를 추가하여, 불필요한 특성(feature)을 제거하고 모델의 단순성을 유지합니다. L1 정규화는 특히 스파시(Sparse) 모…
제품 관리 (Product Management) 1. 개요 제품 관리(Product Management)란 고객의 문제 해결과 비즈니스 가치 창출을 위해 제품의 전략 수립부터 개발, 출시, 그리고 성장 및 폐기에 이르는 전 과정을 관리하는 전문적인 활동이다. 제품 관리자는 비즈니스(Business), 기술(Technology), 사용자 경험(UX)의 교차점…
목적 달성 가능성 (Goal Attainment Probability) 목적 달성 가능성이란 LLM(대규모 언어 모델)이 사용자의 의도를 정확히 파악하여 최종적으로 원하는 결과물을 생성해낼 확률을 의미합니다. 이는 입력되는 프롬프트의 정교함, 제공된 컨텍스트의 품질, 그리고 사용된 모델의 추론 성능에 따라 결정됩니다. 측정 방법 목적 달성 가능성은 정성적 …