경량 모델링 (Lightweight Modeling) 1. 개요 경량 모델링이란 딥러닝 모델의 파라미터 수와 연산량을 줄여 메모리 사용량을 최소화하고 추론 속도를 향상시키면서도, 모델의 예측 성능(Accuracy) 하락을 최소화하는 최적화 기술 전반을 의미한다. 이는 이미 학습된 기존 모델의 크기를 줄이는 모델 압축(Model Compression) 기술뿐…
검색 결과
"BF16"에 대한 검색 결과 (총 9개)
머신러닝 추론 가속기 (ML Inference Accelerator) 1. 개요 머신러닝 추론 가속기란 학습이 완료된 머신러닝 모델을 사용하여 입력 데이터에 대한 예측 결과(추론)를 도출하는 과정을 최적화하고 속도를 높이기 위해 설계된 전용 하드웨어 및 소프트웨어 시스템을 의미한다. 머신러닝의 생명주기는 크게 학습(Training)과 추론(Inference…
양자화 (Quantization) 1. 개요 양자화(Quantization)란 연속적인 값(아날로그)을 갖는 신호를 유한한 개수의 이산적인 값(디지털)으로 매핑하여 표현하는 과정이다. 이는 아날로그-디지털 변환(ADC, Analog-to-Digital Conversion)의 핵심 단계로, [[샘플링]](Sampling)을 통해 시간축으로 이산화된 신호를 진…
과학 계산 개요 과학 계산(Scientific Computing)은 수학, 물리, 공학,물학 등 다양한 과 분야의 문제를 해결하기 위해 컴퓨터를 활용하는 학문 분야. 이는 복한 수학적 모을 수치적으로 해석하고, 실제 현상을 시뮬레이션하거나 예측하는 데 중심적인 역할을 한다. 과학 계산은 이론적 분석과 실험적 관찰에 더해 제3의 과학 방법(scientific…
AMD Instinct MI300 1. 개요 AMD Instinct MI300은 AMD가 설계한 데이터센터용 고성능 컴퓨팅(HPC) 및 인공지능(AI) 가속기로, 차세대 CDNA 3 아키텍처를 기반으로 한 칩렛(Chiplet) 설계의 정점을 보여주는 제품군이다. 본 제품은 거대 언어 모델(LLM)의 학습 및 추론, 복잡한 과학적 시뮬레이션 등 막대한 연산량…
Basic Linear Algebra Subprograms Basic Linear Algebra Subprograms(BL)는 선형대수 계을 위한 기본적인 연산들을 표화한 인터페이스 사양이다. BLAS는 벡터와렬의 덧셈 스칼라 곱, 내적, 행렬-벡터 곱, 행렬-행렬 곱 등과 같은 수치 선형대수의 핵심 연산들을 정의하며, 과학 계산, 머신러닝, 공학 시뮬레이…
반정밀도 (Half-Precision) 반정밀도(Half-Precision)는 부동소수점 숫자를 표현하기 위해 16비트(2바이트)의 메모리 공간을 사용하는 데이터 형식입니다. 일반적으로 FP16(Floating Point 16) 또는 IEEE 754-2008 표준의 binary16 형식으로 불립니다. 전통적인 컴퓨팅 환경에서는 32비트 부동소수점인 단정밀도…
cuBLAS cuBLAS(CUDA Basic Linear Algebraprograms)는 NVIDIA에서 개발 GPU 기반의성능 선형대수 라이브러리로 CUDA 플랫폼에서 실행되는 C/C++ 및 Fortran 애플리케이션 대해 BLAS(B Linear Algebra Subprograms) 표준을 구현한 소프트웨어 라이브러리. 이 라이브러리는 행렬-벡터 연산,…
GPU 개 GPU(Graphics Processing Unit, 그래픽 처리 장치)는 컴퓨터에서 그래픽 데이터를 처리하고 화면에 시각적으로 출력하는 데 특화된 전자 회로입니다. 원래는 3D 그래픽 렌더링과 게임, 영상 편집 등 시각 콘텐츠 생성을 위한 하드웨어로 개발되었으나, 최근에는 인공지능(AI), 과학 시뮬레이션, 암호화폐 채굴 등 고성능 병렬 처리가…