HBM (고대역폭 메모리, High Bandwidth Memory) 개요 HBM(High Bandwidth Memory, 고대역폭 메모리)은 여러 개의 DRAM(Dynamic Random Access Memory) 칩을 수직으로 적층하고, 이를 TSV(Through Silicon Via)라는 통로로 연결하여 데이터 전송 속도를 획기적으로 높인 고성능 메모리…

NPU (신경망 처리 장치) 1. 개요 NPU(Neural Processing Unit, 신경망 처리 장치)는 인간의 뇌 신경망을 모방한 인공신경망(Artificial Neural Network)의 연산을 효율적으로 처리하기 위해 설계된 AI 전용 가속기(Hardware Accelerator)이다. 딥러닝의 핵심인 대규모 행렬 연산을 빠르게 수행하도록 최적…

IoT 기기 (Internet of Things Devices) 1. 개요 IoT 기기(사물인터넷 기기)란 물리적인 사물에 센서, 소프트웨어, 통신 기능을 내장하여 인터넷에 연결함으로써 데이터를 주고받고 스스로 제어하거나 외부에서 원격으로 조작할 수 있는 지능형 장치를 의미한다. 전통적인 전자기기가 사용자의 직접적인 입력(버튼 클릭, 터치 등)에 의해서만 …

휴대용 전자기기 (Portable Electronic Devices) 1. 개요 휴대용 전자기기란 전력 공급원(배터리)을 내장하여 사용자가 장소를 이동하며 사용할 수 있도록 소형화, 경량화되어 설계된 전자 장치를 의미한다. 이러한 기기들은 외부 전원 연결 없이 작동할 수 있는 내장 배터리를 갖추고 있으며, 저전력 설계와 고집적 회로 기술을 통해 이동성과 기…

경량 모델링 (Lightweight Modeling) 1. 개요 경량 모델링이란 딥러닝 모델의 파라미터 수와 연산량을 줄여 메모리 사용량을 최소화하고 추론 속도를 향상시키면서도, 모델의 예측 성능(Accuracy) 하락을 최소화하는 최적화 기술 전반을 의미한다. 이는 이미 학습된 기존 모델의 크기를 줄이는 모델 압축(Model Compression) 기술뿐…

머신러닝 추론 가속기 (ML Inference Accelerator) 1. 개요 머신러닝 추론 가속기란 학습이 완료된 머신러닝 모델을 사용하여 입력 데이터에 대한 예측 결과(추론)를 도출하는 과정을 최적화하고 속도를 높이기 위해 설계된 전용 하드웨어 및 소프트웨어 시스템을 의미한다. 머신러닝의 생명주기는 크게 학습(Training)과 추론(Inference…

희소 모델 (Sparse Model) 1. 개요 희소 모델(Sparse Model)이란 신경망의 파라미터(가중치)나 활성화 값(Activation) 중 상당수가 0이 되어, 실제 연산에 참여하는 유효 파라미터의 비율이 낮은 인공지능 모델을 의미한다. 이는 모든 파라미터가 0이 아닌 값으로 채워져 매 연산마다 모든 가중치를 계산하는 밀집 모델(Dense Mo…

추론 속도 (Inference Speed) 1. 개요 추론 속도(Inference Speed)란 학습이 완료된 AI 모델에 새로운 입력 데이터를 넣었을 때, 모델이 예측 결과(출력)를 내놓기까지 걸리는 시간을 의미한다. AI 모델 서비스(Serving) 단계에서 추론 속도는 서비스의 실용성을 결정짓는 핵심 요소이다. 특히 실시간 상호작용이 필요한 챗봇, 자…

ELECTRA 개요 ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)는 2020년 구글 리서치(Google Research) 팀이 제안한 자연어 처리(NLP) 기반 사전 학습(pre-training) 방법론입니다. 기존 BERT 모델에서 널리 사용되던 …

TensorFlow Lite (TFLite) 개요 TensorFlow Lite(TFLite)는 구글에서 개발한 오픈소스 모바일 및 엣지 디바이스용 딥러닝 추론 프레임워크로, 제한된 컴퓨팅 자원을 가진 환경에서 머신러닝 모델을 효율적으로 실행하는 것을 목적으로 합니다. 일반적인 딥러닝 모델은 방대한 파라미터와 연산량으로 인해 서버급 GPU 환경이 필요하지만,…