ONNX Runtime ONNX은 오픈 뉴럴 네트워 교환(Open Neural Network Exchange, ONNX) 형식으로 표현된 머신러닝 및 딥러닝델을 고성능으로 실행하기 위한 크로스플랫폼 추론 엔진입니다. 마이크로소프트에서 주도적으로 개발하고 있으며, 산업계와 학계에서 널리 사용되고 있습니다. ONNX Runtime은 다양한 하드웨어 플랫폼과 프…
검색 결과
"ONNX Runtime"에 대한 검색 결과 (총 8개)
경량 모델링 (Lightweight Modeling) 1. 개요 경량 모델링이란 딥러닝 모델의 파라미터 수와 연산량을 줄여 메모리 사용량을 최소화하고 추론 속도를 향상시키면서도, 모델의 예측 성능(Accuracy) 하락을 최소화하는 최적화 기술 전반을 의미한다. 이는 이미 학습된 기존 모델의 크기를 줄이는 모델 압축(Model Compression) 기술뿐…
머신러닝 추론 가속기 (ML Inference Accelerator) 1. 개요 머신러닝 추론 가속기란 학습이 완료된 머신러닝 모델을 사용하여 입력 데이터에 대한 예측 결과(추론)를 도출하는 과정을 최적화하고 속도를 높이기 위해 설계된 전용 하드웨어 및 소프트웨어 시스템을 의미한다. 머신러닝의 생명주기는 크게 학습(Training)과 추론(Inference…
PyTorch 개요 PyTorch는 Meta AI(구 Facebook AI Research)에서 개발한 오픈 소스 머신러닝 라이브러리로, 파이썬(Python) 기반의 유연한 인터페이스와 강력한 GPU 가속 기능을 제공하는 딥러닝 프레임워크이다. 텐서 계산과 자동 미분 기능을 핵심으로 하며, 연구 단계의 빠른 프로토타이핑부터 대규모 상용 서비스 배포까지 폭넓…
추론 속도 (Inference Speed) 1. 개요 추론 속도(Inference Speed)란 학습이 완료된 AI 모델에 새로운 입력 데이터를 넣었을 때, 모델이 예측 결과(출력)를 내놓기까지 걸리는 시간을 의미한다. AI 모델 서비스(Serving) 단계에서 추론 속도는 서비스의 실용성을 결정짓는 핵심 요소이다. 특히 실시간 상호작용이 필요한 챗봇, 자…
자동 추천 기능 개요 자동 추천 기능(Recommendation System)은 사용자의 과거 행동, 선호도, 컨텍스트 정보를 분석하여 개인화된 아이템(상품, 콘텐츠, 서비스 등)을 실시간으로 제시하는 기술이다. 전자상거래, 동영상 스트리밍, 뉴스 포털, 소셜 네트워크 등 다양한 도메인에서 핵심 비즈니스 가치를 창출한다. 본 문서는 자동 추천 기능의 기본 …
NEON 레지스터 NEON 레지스터는 ARM 아키텍에서 제공하는 고성능 SIMDingle Instruction, Multiple Data) 확장능의 핵심 구성 요소, 멀티미어 처리, 신호 처리 머신 러닝 등 데이터 병렬 요구하는 작업을 효율적으로 수행할 수 있도록 설계되었습니다. NE 기술은 ARMv7-A 및v8-A 아키텍처 이상에서되며, 특히 모바 기기와…
엣지 컴퓨팅 개요 엣지 컴퓨팅(Edge Computing)은 데이터 처리를 네트워크의 중심부(예: 클라우드 데이터센터)가 아닌, 데이터 생성 원천에 가까운 위치에서 수행하는 분산 컴퓨팅 패러다임이다. 이는 사용자 디바이스, 센서, IoT 기기 등 데이터가 발생하는 "엣지"(Edge)에서 실시간 또는 근실시간으로 정보를 처리함으로써 지연(latency)을 줄…