EfficientNet EfficientNet은 구글(Google) 연구팀이2019년에 발표한 컨볼루션 신경망(Convolutional Neural Network,) 아키텍처, 정확도와산 효율성 사이의 최적 균형을 추하는 것을 목표로 설계되었습니다. 기존의 CNN 모델들이 네트워크의 깊이(depth), 너비(width), 해상도(resolution)를 독립…

촐레스키 분해 (Cholesky Decomposition) 1. 개요 촐레스키 분해란 실수 행렬의 경우 대칭 행렬(Symmetric matrix)이자 양의 정부호 행렬(Positive-definite matrix)인 행렬 를 하삼각행렬(Lower triangular matrix) 과 그 전치행렬 의 곱으로 분해하는 행렬 분해 기법이다. 수학적으로는 다음과 …

FPGA 개요 PGA(Field-Programmable Gate Array, 현장 프래머블 게이트 어레이)는 사용자가 필요에 따라 하드웨어 수준에서 논리 회로를 재구성할 수 있는도체 장치입니다.는 고정된능을 가진 전통적인 ASIC(Application-Specific Integrated Circuit)과 달리, 프로그래밍을 통해 다양한 디지털 시스템을 구현…

BLIS Framework BLIS Framework(BL-like Library Instantiation Software)는 고성능 선형 대수 연산을 위한 오픈소스 소프트웨어 라이브러리로 BLAS(Basic Linear Subprograms)와사한 인터페이스를 제공하면서도 보다 유연하고 최적화된 구현을 가능하게 하는 프레임워크입니다. BLIS는 수치 계산…

희소 모델 (Sparse Model) 1. 개요 희소 모델(Sparse Model)이란 신경망의 파라미터(가중치)나 활성화 값(Activation) 중 상당수가 0이 되어, 실제 연산에 참여하는 유효 파라미터의 비율이 낮은 인공지능 모델을 의미한다. 이는 모든 파라미터가 0이 아닌 값으로 채워져 매 연산마다 모든 가중치를 계산하는 밀집 모델(Dense Mo…

과학 계산 개요 과학 계산(Scientific Computing)은 수학, 물리, 공학,물학 등 다양한 과 분야의 문제를 해결하기 위해 컴퓨터를 활용하는 학문 분야. 이는 복한 수학적 모을 수치적으로 해석하고, 실제 현상을 시뮬레이션하거나 예측하는 데 중심적인 역할을 한다. 과학 계산은 이론적 분석과 실험적 관찰에 더해 제3의 과학 방법(scientific…

추론 속도 (Inference Speed) 1. 개요 추론 속도(Inference Speed)란 학습이 완료된 AI 모델에 새로운 입력 데이터를 넣었을 때, 모델이 예측 결과(출력)를 내놓기까지 걸리는 시간을 의미한다. AI 모델 서비스(Serving) 단계에서 추론 속도는 서비스의 실용성을 결정짓는 핵심 요소이다. 특히 실시간 상호작용이 필요한 챗봇, 자…

Depthwise Separable Convolution 1. 개요 Depthwise Separable Convolution(깊이별 분리 합성곱)은 표준 합성곱(Standard Convolution) 연산을 공간적 필터링(Spatial Filtering)과 채널 간 결합(Channel Combination)이라는 두 개의 독립적인 단계로 분리하여 연산 효율…

ELECTRA 개요 ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)는 2020년 구글 리서치(Google Research) 팀이 제안한 자연어 처리(NLP) 기반 사전 학습(pre-training) 방법론입니다. 기존 BERT 모델에서 널리 사용되던 …

Basic Linear Algebra Subprograms Basic Linear Algebra Subprograms(BL)는 선형대수 계을 위한 기본적인 연산들을 표화한 인터페이스 사양이다. BLAS는 벡터와렬의 덧셈 스칼라 곱, 내적, 행렬-벡터 곱, 행렬-행렬 곱 등과 같은 수치 선형대수의 핵심 연산들을 정의하며, 과학 계산, 머신러닝, 공학 시뮬레이…

시스템 자원 (System Resources) 1. 개요 시스템 자원이란 컴퓨터 시스템이 프로세스를 실행하고 작업을 수행하기 위해 사용하는 하드웨어 및 소프트웨어의 모든 물리적·논리적 구성 요소를 의미한다. 컴퓨터의 자원은 한정되어 있기 때문에, 여러 프로세스가 동시에 실행되는 멀티태스킹 환경에서는 자원을 효율적으로 분배하고 관리하는 것이 필수적이다. 적절…

혼합 전문가 모델 (Mixture of Experts, MoE) 개요 혼합 전문가 모델(Mixture of Experts, 줄여서 MoE)은 대규모 언어 모델(LLM) 및 딥러닝 아키텍처에서 사용되는 효율적인 신경망 설계 패턴입니다. MoE의 핵심 아이디어는 단일 거대한 모델 대신, 여러 개의 작은 '전문가(Expert)' 네트워크를 준비하고, 입력 데이터…

EfficientNet-B0 개요 EfficientNet-B0은 구글 리서치(Google Research)에서 2019년에 제안한 컨볼루션 신경망(Convolutional Neural Network, CNN) 아키텍처로, EfficientNet(Efficient Neural Network) 시리즈의 가장 작은 모델이다. EfficientNet-B0은 높은 …

EfficientNet-B0 개요 EfficientNet-B0은 구글 리서치(Google Research)에서 2019년에 제안한 컨볼루션 신경망(Convolutional Neural Network, CNN) 아키텍처로, 깊이, 너비, 해상도의 세 가지 축을 동시에 조정하여 모델의 확장성과 효율성을 극대화한 EfficientNet 시리즈의 기준 모델(bas…

MobileNet MobileNet은 구글(Google)이 개발한 경량화된 컨볼루션 신경망(Convolutional Network, CNN)키텍처로, 모바일 기기 및 임베디드 시스템과 같은 제한된 컴퓨팅 자원 환경에서 실시간 이미지 인식 및 객체 탐지를 가능하게 하기 위해 설계되었다. MobileNet은 정확도와 속도 사이의 균형을 잘 유지하면서도 모델 크…

Field-Programmable Gate Array 개요 Field-Programmable Gate Array(FPGA 현장 프로그머블 게이트레이)는 사용자가 소프트웨어 통해 하드웨어 구조를 재구성할 수 있는 반도체 장치입니다. FPGA는통적인 고정 기능의 집적회로(IC)와 달리, 출하 후에도 사용자가 원하는 논리 회로를 프로그래밍하여 구현할 수 있어 매…

GPU 개 GPU(Graphics Processing Unit, 그래픽 처리 장치)는 컴퓨터에서 그래픽 데이터를 처리하고 화면에 시각적으로 출력하는 데 특화된 전자 회로입니다. 원래는 3D 그래픽 렌더링과 게임, 영상 편집 등 시각 콘텐츠 생성을 위한 하드웨어로 개발되었으나, 최근에는 인공지능(AI), 과학 시뮬레이션, 암호화폐 채굴 등 고성능 병렬 처리가…

고성능 컴퓨팅 개요 고성 컴퓨팅(High-Performance Computing HPC)은 복잡하고 계산량이 많은 문제를 신속하게 해결하기 위해 고성능의 컴퓨터 시스템을 활용하는 기술 분야입니다. 일반적으로 단일 컴퓨터로는 처리하기 어려운 대규모 시뮬레이션, 빅데이터 분석, 인공지능 훈련, 기후 모델링, 유전체 분석 등의 작업을 수행하는 데 사용됩니다. H…

ResNet 개요 ResNet(Residual Network)는 2015년 Kaiming He 등이 발표한 딥러닝 아키텍처로, 깊은 신경망에서 발생하는 Vanishing Gradient 문제를 해결하기 위해 잔차 학습(residual learning) 프레임워크를 제안한 모델입니다. 이 모델은 ImageNet 대회(ILSVRC 2015)에서 1위를 차지했으…