경량 모델링 (Lightweight Modeling) 1. 개요 경량 모델링이란 딥러닝 모델의 파라미터 수와 연산량을 줄여 메모리 사용량을 최소화하고 추론 속도를 향상시키면서도, 모델의 예측 성능(Accuracy) 하락을 최소화하는 최적화 기술 전반을 의미한다. 이는 이미 학습된 기존 모델의 크기를 줄이는 모델 압축(Model Compression) 기술뿐…
검색 결과
"Neural Processing Unit"에 대한 검색 결과 (총 7개)
이미지 처리 유닛 (Image Processing Unit, IPU) 1. 개요 이미지 처리 유닛(Image Processing Unit, IPU)은 이미지 센서로부터 입력된 가공되지 않은 데이터(Raw Data)를 사람이 인식할 수 있는 고품질의 이미지나 비디오 형태로 변환하기 위해 설계된 전용 하드웨어 가속기이다. 일반적인 [[CPU]](중앙 처리 장치…
하드웨어 기반 변환 (Hardware-based Conversion) 1. 개요 하드웨어 기반 변환이란 데이터의 물리적 형태(신호)나 논리적 구조(포맷/프로토콜)를 변환하는 작업을 범용 CPU의 소프트웨어 명령어가 아닌, 전용 회로(Dedicated Circuitry)나 특수 목적 칩셋을 통해 직접 수행하는 기술을 의미한다. 일반적인 소프트웨어 기반 변환(…
머신러닝 추론 가속기 (ML Inference Accelerator) 1. 개요 머신러닝 추론 가속기란 학습이 완료된 머신러닝 모델을 사용하여 입력 데이터에 대한 예측 결과(추론)를 도출하는 과정을 최적화하고 속도를 높이기 위해 설계된 전용 하드웨어 및 소프트웨어 시스템을 의미한다. 머신러닝의 생명주기는 크게 학습(Training)과 추론(Inference…
추론 속도 (Inference Speed) 1. 개요 추론 속도(Inference Speed)란 학습이 완료된 AI 모델에 새로운 입력 데이터를 넣었을 때, 모델이 예측 결과(출력)를 내놓기까지 걸리는 시간을 의미한다. AI 모델 서비스(Serving) 단계에서 추론 속도는 서비스의 실용성을 결정짓는 핵심 요소이다. 특히 실시간 상호작용이 필요한 챗봇, 자…
ASIC (주문형 반도체) 개요 ASIC(Application-Specific Integrated Circuit, 주문형 반도체)은 범용적인 목적이 아닌, 특정한 용도나 특정 애플리케이션의 기능을 수행하기 위해 맞춤형으로 설계 및 제조된 집적 회로를 의미한다. 일반 목적 프로세서인 CPU(Central Processing Unit)나 GPU(Graphics…
웨어러블 기기 (Wearable Device) 웨어러블 기기는 사용자의 신체에 착용하거나 이식하여 일상생활의 편의성을 높이고 건강 상태를 모니터링하며 다양한 정보를 실시간으로 제공하는 전자 장치의 총칭입니다. 본 문서는 외부 착용형 웨어러블 기기를 중심으로 다루며, 관련 기술로 임플란터블(Implantable) 기기도 함께 언급합니다. 개요 및 정의 웨어러…