Apache Kafka (아파치 카프카) 1. 개요 Apache Kafka는 고성능 분산 이벤트 스트리밍 플랫폼으로, 실시간 데이터 파이프라인 구축 및 스트림 분석을 위해 설계된 오픈소스 소프트웨어이다. 전통적인 메시지 큐(Message Queue, MQ)가 메시지의 전달과 소비 후 삭제라는 '전달' 중심의 역할에 집중했다면, Kafka는 데이터를 디스크에…
검색 결과
"LZ4"에 대한 검색 결과 (총 4개)
ZFS (Zettabyte File System) ZFS는 Sun Microsystems에서 개발한 통합 파일 시스템이자 논리 볼륨 관리자(LVM)로, 대규모 데이터 저장소의 무결성 보장과 확장성, 관리 편의성을 극대화하기 위해 설계된 차세대 스토리지 솔루션입니다. 현재는 오픈 소스 프로젝트인 OpenZFS를 통해 리눅스, FreeBSD 등 다양한 OS에서…
ORC (Optimized Row Columnar) 1. 개요 ORC(Optimized Row Columnar)는 Apache Hive를 위해 설계된 고성능 열 지향(Columnar) 저장 형식으로, 대규모 데이터 세트에 대해 효율적인 압축과 빠른 읽기 성능을 제공하는 바이너리 파일 포맷입니다. 빅데이터 환경에서는 수 페타바이트(PB) 이상의 데이터를 처리…
Snappy 개 Snappy는 구글(Google)에서 개한 오픈 소스 고속 데이터 압축 및 압축 해제 라이브러리로, 특히 압축 속도를 중시하는 환경에서 널리 사용된다 Snappy는 최대한 빠른 속도로 데이터를 압축하고 해제하는 데 최적화 있으며, 압축률보다는 처리 성능을 우선시하는 설계 철학을 가지고 있다. 이로 인해 대규모 데이터 처리 시스템, 분산 저장…