주변 환경 1. 개요 주변 환경이란 LLM(대규모 언어 모델) 서비스가 정상적으로 구동되고 최적의 성능을 내기 위해 갖추어야 할 하드웨어, 소프트웨어, 네트워크 및 설정 상태의 총합을 의미합니다. 적절한 주변 환경 설정은 모델의 추론 속도를 결정할 뿐만 아니라, 서비스의 안정성을 확보하고 스트리밍 응답 오류와 같은 기술적 결함을 방지하는 데 필수적입니다. …
검색 결과
"NVIDIA"에 대한 검색 결과 (총 66개)
가상 촬영 요 가상 촬영Virtual Cinematography은 컴퓨터그래픽스 실시간 렌더 기술을 활용 실제 카메라 촬영 없이도 영화, 애니메이션, 게임 등에서 촬영 효과를 구현하는 기술입니다. 이는통적인 촬영식과 달리, 물리적 카메라와 세트를 대신하여 가상 공간 내에서 카메라의 움직임, 조명, 시점 등을 디지털로 제어함으로써 보다 자유롭고 창의적인 영상…
희소 모델 (Sparse Model) 1. 개요 희소 모델(Sparse Model)이란 신경망의 파라미터(가중치)나 활성화 값(Activation) 중 상당수가 0이 되어, 실제 연산에 참여하는 유효 파라미터의 비율이 낮은 인공지능 모델을 의미한다. 이는 모든 파라미터가 0이 아닌 값으로 채워져 매 연산마다 모든 가중치를 계산하는 밀집 모델(Dense Mo…
DirectX 1. 개요 DirectX는 마이크로소프트(Microsoft)가 개발한 윈도우(Windows) 운영체제 전용 멀티미디어 및 게임 프로그래밍 인터페이스(API)의 집합체이다. 하드웨어 추상화 계층(HAL, Hardware Abstraction Layer)을 통해 소프트웨어가 그래픽 카드, 사운드 카드, 입력 장치 등의 하드웨어 세부 사항을 일일이…
합성 데이터 (Synthetic Data) 1. 개요 합성 데이터(Synthetic Data, 가상 데이터라고도 함)란 실제 세계에서 수집된 데이터가 아니라, 알고리즘이나 통계적 모델을 통해 인위적으로 생성된 데이터를 의미한다. 실제 데이터(Real-world Data)가 관찰된 사실의 기록이라면, 합성 데이터는 실제 데이터의 통계적 특성, 상관관계, 분포…
PyTorch 개요 PyTorch는 Meta AI(구 Facebook AI Research)에서 개발한 오픈 소스 머신러닝 라이브러리로, 파이썬(Python) 기반의 유연한 인터페이스와 강력한 GPU 가속 기능을 제공하는 딥러닝 프레임워크이다. 텐서 계산과 자동 미분 기능을 핵심으로 하며, 연구 단계의 빠른 프로토타이핑부터 대규모 상용 서비스 배포까지 폭넓…
추론 속도 (Inference Speed) 1. 개요 추론 속도(Inference Speed)란 학습이 완료된 AI 모델에 새로운 입력 데이터를 넣었을 때, 모델이 예측 결과(출력)를 내놓기까지 걸리는 시간을 의미한다. AI 모델 서비스(Serving) 단계에서 추론 속도는 서비스의 실용성을 결정짓는 핵심 요소이다. 특히 실시간 상호작용이 필요한 챗봇, 자…
AMD Instinct MI300 1. 개요 AMD Instinct MI300은 AMD가 설계한 데이터센터용 고성능 컴퓨팅(HPC) 및 인공지능(AI) 가속기로, 차세대 CDNA 3 아키텍처를 기반으로 한 칩렛(Chiplet) 설계의 정점을 보여주는 제품군이다. 본 제품은 거대 언어 모델(LLM)의 학습 및 추론, 복잡한 과학적 시뮬레이션 등 막대한 연산량…
OpenCV OpenCV(Open Source Computer Vision Library는 컴퓨터 비전과 이미지 처리 분야에서 가장 널리 사용되는 오픈소스 라이브러리 중 하나입니다. 실시간 이미지 및 비디오 처리를 위한 다양한 알고리즘과 함수를 제공하며, 산업계, 학계, 연구소에서 활발히 활용되고 있습니다. 이 문서는 OpenCV의 개요, 주요 기능, 사용…
Basic Linear Algebra Subprograms Basic Linear Algebra Subprograms(BL)는 선형대수 계을 위한 기본적인 연산들을 표화한 인터페이스 사양이다. BLAS는 벡터와렬의 덧셈 스칼라 곱, 내적, 행렬-벡터 곱, 행렬-행렬 곱 등과 같은 수치 선형대수의 핵심 연산들을 정의하며, 과학 계산, 머신러닝, 공학 시뮬레이…
ROCm (Radeon Open Compute) 개요 ROCm(Radeon Open Compute)은 AMD가 개발한 오픈 소스 GPU 컴퓨팅 플랫폼으로, GPU의 병렬 처리 능력을 활용하여 고성능 연산(HPC) 및 인공지능(AI) 모델의 학습과 추론을 가능하게 하는 소프트웨어 스택입니다. NVIDIA의 폐쇄적인 CUDA(Compute Unified Dev…
DLSS (Deep Learning Super Sampling) 1. 개요 DLSS(Deep Learning Super Sampling)는 NVIDIA가 개발한 딥러닝 기반의 이미지 업스케일링 기술로, 낮은 해상도에서 렌더링된 이미지를 AI를 통해 고해상도로 복원하여 게임의 시각적 품질을 유지하면서 프레임 속도(FPS)를 획기적으로 향상시키는 기술이다. 기…
결함 검출 개요 결함 검출(Def Detection)은 산업 생산정에서 제품이나 자재에 존재하는 물리적, 구조적 또는 기능적 이상을 식하는 핵심적인 품질 관리 활동입니다. 이는 제조업 전반에서 제품의 신뢰성, 안전성, 일관성을 보장하기 위한 필수 절차로, 자동차, 반도체, 항공우주, 금속 가공, 전자기기 등 다양한 산업 분야에서 활용됩니다. 결함 검출 기술…
GDDR6X 1. 개요 GDDR6X(Graphics Double Data Rate 6X)는 마이크론(Micron)과 엔비디아(NVIDIA)가 공동 개발한 고성능 그래픽 전용 메모리 표준입니다. 기존의 GDDR6 표준을 기반으로 하지만, 데이터 전송 방식에 혁신적인 변화를 주어 대역폭(Bandwidth)을 획기적으로 높인 것이 특징입니다. 주로 고사양 GPU…
OpenCL OpenCL(Open Computing Language, 오픈 컴퓨팅 언어)는 병렬 프로그래밍을 위한 표준 프레임워크입니다. 이 표준은 CPU(중앙 처리 장치), GPU(그래픽 처리 장치), DSP(디지털 신호 처리기), FPGA(필드 프로그래머블 게이트 어레이) 등 다양한 하드웨어 가속기에서 실행되도록 설계되었습니다. OpenCL은 비공개적인…
레이 트레이싱 (Ray Tracing) 개요 레이 트레이싱(Ray Tracing)은 컴퓨터 그래픽스에서 3차원 장면을 2차원 이미지로 렌더링하기 위한 알고리즘 기법 중 하나입니다. 이 기술은 빛의 물리적 행동을 시뮬레이션하여, 카메라(시점)에서 출발한 가상의 광선(Ray)이 장면 내의 물체와 어떻게 상호작용하는지를 추적함으로써 현실적인 조명, 그림자, 반사…
반정밀도 (Half-Precision) 반정밀도(Half-Precision)는 부동소수점 숫자를 표현하기 위해 16비트(2바이트)의 메모리 공간을 사용하는 데이터 형식입니다. 일반적으로 FP16(Floating Point 16) 또는 IEEE 754-2008 표준의 binary16 형식으로 불립니다. 전통적인 컴퓨팅 환경에서는 32비트 부동소수점인 단정밀도…
Unified Fabric Manager Unified Fabric Manager(이하 UFM)는 데이터 센터의 인피밴드(Intra-datacenter) 네트워크, 특히 InfiniBand 및 RoCE(RDMA over Converged Ethernet) 기반의 고속 네트워크를 모니터링, 관리, 분석 및 최적화하기 위한 엔터프라이즈급 소프트웨어 솔루션입니다…
마벨(Marvell) 마벨 테크놀로지 그룹(Marvell Technology Group, Ltd.)은 미국의 반도체 설계 기업으로, 데이터 인프라, 네트워크, 스토리지, 모바일 등 다양한 분야의 반도체 솔루션을 개발 및 공급하는 글로벌 기업입니다. 본사는 캘리포니아주 샌타클라라에 위치해 있으며, 1995년 설립되었습니다. 마벨은 특히 네트워크 인터페이스 컨…
병렬 처리 (Parallel Processing) 병렬 처리(Parallel Processing)란 하나의 복잡한 문제를 여러 개의 작은 하위 문제로 분할하여, 이를 동시에 처리함으로써 계산 속도를 높이고 시스템의 효율성을 극대화하는 컴퓨터 과학 및 공학 기법입니다. 단일 프로세서가 순차적으로 작업을 처리하는 직렬 처리(Serial Processing)와 …