추론 속도 (Inference Speed) 1. 개요 추론 속도(Inference Speed)란 학습이 완료된 AI 모델에 새로운 입력 데이터를 넣었을 때, 모델이 예측 결과(출력)를 내놓기까지 걸리는 시간을 의미한다. AI 모델 서비스(Serving) 단계에서 추론 속도는 서비스의 실용성을 결정짓는 핵심 요소이다. 특히 실시간 상호작용이 필요한 챗봇, 자…
검색 결과
"메모리 접근"에 대한 검색 결과 (총 69개)
주소 지정 모드 (Addressing Modes) 1. 개요 주소 지정 모드(Addressing Mode)란 CPU가 명령어를 실행할 때, 명령어 내의 오퍼랜드(Operand, 피연산자) 필드를 이용하여 실제 데이터가 저장된 메모리 주소인 유효 주소(Effective Address, EA)를 결정하는 방법을 말한다. CPU는 명령어를 읽어 들인 후, 해당 …
AVR (8-bit RISC Microcontroller) 1. 개요 AVR은 Atmel(현재 Microchip Technology에 인수됨)에서 개발한 하버드 구조 기반의 8비트 RISC(Reduced Instruction Set Computer) 마이크로컨트롤러(MCU) 아키텍처이다. AVR은 효율적인 명령어 세트와 빠른 실행 속도를 제공하며, 특히 플…
Intel VT-x Intel VT-x(Virtualization Technology for x86)는 인텔(Intel)이 개발한 하드웨어 기반의 x86 아키텍처 가상화 기술입니다. 이 기술은 단일 물리 CPU에서 여러 개의 독립적인 가상 머신(VM)을 효율적으로 실행할 수 있도록 설계되었으며, 소프트웨어만으로는 구현하기 어렵거나 성능 저하가 심했던 가상화…
베어메탈 하이퍼바이저 (Bare-metal Hypervisor) 1. 개요 베어메탈 하이퍼바이저(Bare-metal Hypervisor)는 호스트 운영체제(Host OS) 없이 물리적 하드웨어 위에 직접 설치되어 여러 개의 가상 머신(VM, Virtual Machine)을 생성하고 관리하는 가상화 소프트웨어이다. 물리 서버의 자원을 직접 제어하여 가상 머신…
라운드 연산 (Round Operation) 1. 개요 라운드 연산이란 암호화 알고리즘에서 입력 데이터와 라운드 키를 결합하여 데이터의 상태(State)를 지속적으로 변환시키는 반복적 구조를 의미한다. 이는 단순한 루프(Loop) 연산을 넘어, 여러 가지 단순한 암호화 기법을 결합하여 강력한 보안성을 얻는 '제품 암호(Product Cipher)' 개념을 …
공유 메모리 시스템 (Shared Memory System) 1. 개요 공유 메모리 시스템은 여러 개의 프로세서나 독립적인 프로세스들이 하나의 공통된 물리적 메모리 주소 공간을 공유하여 데이터를 읽고 쓸 수 있도록 설계된 컴퓨터 메모리 아키텍처이다. 이 시스템의 핵심 목적은 프로세스 간 통신(IPC, Inter-Process Communication) 시 …
Basic Linear Algebra Subprograms Basic Linear Algebra Subprograms(BL)는 선형대수 계을 위한 기본적인 연산들을 표화한 인터페이스 사양이다. BLAS는 벡터와렬의 덧셈 스칼라 곱, 내적, 행렬-벡터 곱, 행렬-행렬 곱 등과 같은 수치 선형대수의 핵심 연산들을 정의하며, 과학 계산, 머신러닝, 공학 시뮬레이…
명령어 세트 아키텍처 (Instruction Set Architecture, ISA) 1. 개요 명령어 세트 아키텍처(Instruction Set Architecture, 이하 ISA)는 컴퓨터의 소프트웨어가 하드웨어에 명령을 내리기 위해 사용하는 추상적인 인터페이스이자 규격이다. ISA는 CPU가 이해하고 실행할 수 있는 기계어 명령어들의 집합, 레지스터…
Redis 개요 Redis(Remote Dictionary Server)는 고성능의 인메모리 데이터 구조 저장소(in-memory data structure store)로, 주로 캐싱, 메시지 브로커, 세션 저장소, 실시간 애플리케이션 데이터 처리 등에 활용되는 오픈소스 데이터베이스 시스템입니다. Redis는 키-값(Key-Value) 기반의 저장 구조를 …
Thunderbolt Thunderbolt(번개)는 인텔(Intel)이 개발한 고대역폭 직렬 연결 표준입니다. 이 기술은 주로 외부 저장 장치, 디스플레이, 그리고 기타 주변 기기를 컴퓨터에 연결하는 데 사용되며, USB-C 물리적 커넥터를 통해 데이터를 전송하고 전원을 공급할 수 있는 통합 솔루션을 제공합니다. Thunderbolt는 기존 USB나 HDM…
고속 처리 (High-Speed Processing) 고속 처리는 컴퓨팅 시스템이 데이터를 최소한의 지연 시간(Latency)과 오버헤드로 신속하게 처리하는 기술 및 아키텍처 설계 원칙을 포괄하는 개념입니다. 이는 주로 실시간 처리(Real-time Processing) 환경에서 요구되는 즉각적인 응답 속도와 높은 처리량(Throughput)을 달성하기 위…
VT-d (Virtualization Technology for Directed I/O) VT-d는 인텔(Intel)이 개발한 하드웨어 기반 가상화 기술로, 공식 명칭은 Intel Virtualization Technology for Directed I/O입니다. 이 기술은 가상 머신(Virtual Machine, VM)이 물리 하드웨어, 특히 PCI Ex…
128비트 레지스터 128비트 레지스터(128-bit register)는 컴퓨터 아키텍처에서 128비트(16바이트)의 데이터를 한 번에 저장하고 처리할 수 있는 하드웨어 수준의 데이터 저장소입니다. 일반적으로 64비트 프로세서의 확장된 데이터 경로와 연산 능력을 제공하며, 특히 SIMD(Single Instruction, Multiple Data) 명령어를…
상수 전파 (Constant Propagation) 상수 전파(Constant Propagation)는 컴파일러 최적화 기법 중 하나로, 프로그램 실행 시 특정 변수나 표현식의 값이 컴파일 시점이나 실행 시점에 상수(constant)로 결정될 수 있음을 활용하여 코드를 더 효율적으로 만드는 기술입니다. 이 기법은 정적 분석(Static Analysis)의 …
루프 벡터화 (Loop Vectorization) 개요 루프 벡터화(Loop Vectorization)는 컴파일러 최적화 기법 중 하나로, 반복문(루프) 내의 순차적인 연산을 SIMD(Single Instruction, Multiple Data) 명령어를 사용하여 병렬로 처리함으로써 실행 속도를 향상시키는 기술입니다. 현대 프로세서의 성능 향상에 있어 CP…
스위치 (Switch) 스위치(Switch)는 전기 회로의 연결과 단절을 제어하는 기본 전자 소자 또는 장치를 의미합니다. 일반적으로 전류의 흐름을 차단하거나 통과시키는 역할을 하며, 사용자가 직접 조작하는 기계식 스위치부터 반도체 소자를 이용한 전자식 스위치까지 다양한 형태와 원리로 존재합니다. 스위치는 현대 전자공학의 핵심 구성 요소로, 컴퓨터, 가전제…
RT 코어 (RT Core) 개요 RT 코어(RT Core)는 엔비디아(NVIDIA)가 개발한 GPU 내장 전용 하드웨어 가속기입니다. 실시간 레이 트레이싱(Ray Tracing) 연산을 가속화하기 위해 설계되었으며, 2018년 출시된 터밍(Turing) 아키텍처부터 본격적으로 탑재되기 시작했습니다. 기존 소프트웨어 기반 렌더링 파이프라인에서는 처리 속도가…
NVLink 개요 NVLink는 엔비디아(NVIDIA)가 개발한 고속 스케일러블 프로세서 간 인터커넥트 기술로, 주로 GPU와 GPU 간, 또는 GPU와 CPU 간의 고대역폭·저지연 데이터 전송을 위해 설계되었습니다. 기존의 PCIe(Peripheral Component Interconnect Express) 인터페이스에 비해 훨씬 높은 대역폭과 효율성을 …
세그멘테이션 개요 세그멘테이션(Segmentation)은 운영체제에서 메모리 관리를 수행하는 기법 중 하나로, 프로그램을 논리적으로 의미 있는 단위인 세그먼트(Segment)로 나누어 메모리에 할당하는 방식이다. 이 기법은 프로그램의 구조를 반영하여 메모리를 효율적으로 관리하고, 보호 및 공유 기능을 강화하는 데 목적이 있다. 세그멘테이션은 연속 메모리 할…