Hadoop 개요 아파치 하둡(Apache Hadoop)은 대용량 데이터를 분산 처리하기 위한 오픈소스 프레임워크로, 구글의 맵리듀스(MapReduce)와 구글 파일 시스템(GFS)을 기반으로 개발되었습니다. 하둡은 수천 대의 일반적인 하드웨어 서버로 구성된 클러스터에서 페타바이트(PB) 규모의 데이터를 저장하고 분석할 수 있는 능력을 제공합니다. 특히, …
검색 결과
"Hadoop"에 대한 검색 결과 (총 30개)
Hadoop HDFS 개요 Hadoop HDFSHadoop Distributed File System)는파치 하둡pache Hadoop)로젝트의심 구성 요소 중 하나, 대용량 데이터를 분산 환경에서 안정적이고 효율적으로 저장하기 위한 분산 파일 시스템입니다. HDFS는천 대의 일반적인 상용 하드웨어로 구성된 클러스터에서 페타바이트(PB) 규모의 데이터를 저…
중앙 집중형 시스템 (Centralized System) (Alias: Central) 1. 개요 중앙 집중형(Centralized) 구조란 네트워크나 시스템의 모든 제어권, 데이터 처리, 관리 권한이 하나의 중앙 노드(Central Node) 또는 소수의 핵심 서버에 집중되어 있는 아키텍처를 의미합니다. 이 구조에서 말단 노드(Client/Edge)들은 …
대용량 데이터 처리 (Large-scale Data Processing) 1. 개요 대용량 데이터 처리란 단일 컴퓨팅 자원으로는 처리하기 어려운 방대한 양의 데이터를 효율적으로 수집, 저장, 분석하기 위해 분산 컴퓨팅 기술과 최적화된 알고리즘을 적용하는 일련의 과정을 의미한다. 현대 컴퓨팅 환경에서는 IoT 기기의 확산, SNS의 폭증, 고해상도 로그 데이…
Apache Kafka (아파치 카프카) 1. 개요 Apache Kafka는 고성능 분산 이벤트 스트리밍 플랫폼으로, 실시간 데이터 파이프라인 구축 및 스트림 분석을 위해 설계된 오픈소스 소프트웨어이다. 전통적인 메시지 큐(Message Queue, MQ)가 메시지의 전달과 소비 후 삭제라는 '전달' 중심의 역할에 집중했다면, Kafka는 데이터를 디스크에…
데이터 형식 변환 (Data Format Conversion) 1. 개요 데이터 형식 변환이란 특정 소프트웨어나 시스템에서 생성된 데이터의 구조와 표현 방식(Format)을 다른 시스템이나 애플리케이션에서 인식하고 처리할 수 있는 다른 형식으로 변경하는 과정을 의미한다. 현대의 데이터 생태계는 다양한 언어와 플랫폼으로 구성되어 있어, 서로 다른 시스템 간의…
NexStorage SDS (소프트웨어 정의 스토리지 솔루션) 1. 개요 NexStorage SDS는 하드웨어 종속성을 제거하고 소프트웨어 계층에서 스토리지 자원을 관리 및 제어하는 엔터프라이즈급 소프트웨어 정의 스토리지([[소프트웨어 정의 스토리지|Software-Defined Storage]], SDS) 솔루션입니다. 본 솔루션은 기존의 전용 스토리지 …
소프트웨어 정의 스토리지 (Software-Defined Storage, SDS) 1. 개요 소프트웨어 정의 스토리지(Software-Defined Storage, 이하 SDS)는 스토리지의 관리 및 제어 기능을 물리적인 하드웨어 계층으로부터 분리하여 소프트웨어 계층으로 추상화한 스토리지 아키텍처를 의미한다. 전통적인 스토리지는 특정 벤더의 전용 하드웨어와…
빅데이터 분석 (Big Data Analytics) 1. 개요 빅데이터 분석이란 기존의 데이터베이스 관리 도구로는 수집, 저장, 관리, 분석하기 어려울 정도로 거대한 규모와 복잡성을 가진 데이터 집합(Big Data)으로부터 유의미한 패턴, 상관관계, 추세 및 통찰력을 추출하는 고도의 분석 프로세스를 의미한다. 전통적인 데이터 분석이 정형 데이터(Struc…
빅데이터 (Big Data) 1. 개요 빅데이터란 기존의 데이터베이스 관리 도구로는 수집, 저장, 관리, 분석하기 어려울 정도로 방대한 양과 다양한 형태를 가진 데이터 집합, 그리고 이를 처리하고 분석하여 가치 있는 정보를 추출하는 기술을 의미한다. 전통적인 데이터가 주로 정형화된 수치나 텍스트 중심의 관계형 데이터베이스(RDBMS)에 저장되었다면, 빅데이…
대규모 데이터 처리 (Large-Scale Data Processing) 개요 대규모 데이터 처리(Large-Scale Data Processing)는 방대한 양의 데이터(빅데이터)를 효율적으로 수집, 저장, 분석 및 시각화하기 위한 기술적 접근법과 아키텍처를 포괄하는 개념입니다. 전통적인 단일 서버 기반의 데이터 처리 방식은 데이터의 볼륨(Volume),…
CityHash CityHash는 Google에서 개발한 해시 함수의 계열로, 특히 메모리 내 데이터 구조(예: 해시 테이블)에서의 빠른 연산 속도와 높은 품질의 분산 성능을 목표로 설계되었습니다. 이 함수는 64비트 및 128비트 해시 값을 생성할 수 있으며, 특히 짧은 문자열에 대해 뛰어난 성능을 보입니다. CityHash는 MurmurHash와 함께 …
병렬 처리 (Parallel Processing) 병렬 처리(Parallel Processing)란 하나의 복잡한 문제를 여러 개의 작은 하위 문제로 분할하여, 이를 동시에 처리함으로써 계산 속도를 높이고 시스템의 효율성을 극대화하는 컴퓨터 과학 및 공학 기법입니다. 단일 프로세서가 순차적으로 작업을 처리하는 직렬 처리(Serial Processing)와 …
MapReduce 개요 MapReduce는 대규모 데이터셋을 분산 처리하기 위한 프로그래밍 모델이자 소프트웨어 프레임워크로, 구글에서 2004년에 발표한 논문을 통해 처음 공개되었습니다. 이 모델은 수천 대의 컴퓨터로 구성된 클러스터에서 병렬로 데이터를 처리할 수 있도록 설계되어, 빅데이터 환경에서 매우 중요한 역할을 합니다. MapReduce는 두 가지 …
블록 요 "블(block)"은 데이터과학 및 컴퓨터 과학 전반에서 핵적인 개념으로, 데이터를율적으로 저장, 처리, 전송 위한 기본 단위 의미합니다. 특히 데이터구조의 맥락에서 블록은 연속 메모리 공간이나 저장 장치의 단위로 사용되며, 대용량 처리, 파일 시스템, 데이터이스, 분산소, 블록체인 등 다양한 분야에서 활용됩니다. 이 문서에서는 데이터과학과 관련된…
Snappy 개 Snappy는 구글(Google)에서 개한 오픈 소스 고속 데이터 압축 및 압축 해제 라이브러리로, 특히 압축 속도를 중시하는 환경에서 널리 사용된다 Snappy는 최대한 빠른 속도로 데이터를 압축하고 해제하는 데 최적화 있으며, 압축률보다는 처리 성능을 우선시하는 설계 철학을 가지고 있다. 이로 인해 대규모 데이터 처리 시스템, 분산 저장…
OpenJDK OpenJDK(Open Java Development Kit는 자바 프래밍 언어를 위한개 소스 기의 개발 키트로, 자바 플폼의 핵심 구현체 중 하나입니다.바 SE(Standard Edition)의 공식 참조 구현(reference implementation)으로 인정되며, 자바의 오픈소스화 이후 자바 생태계의 중심적인 역할을 하고 있습니다. …
Java Java는 전 세계적으로 널리 사용되는 객체 지향 프래밍 언어로, 995년에 선 마이로시스템즈(Sun Microsystems)에서 개발하여 이후 오라클(Oracle)에 인수된 언어입니다. "쓰기 한 번, 어디서나 실행(Written Once, Run Anywhere)" 철학 아래 설계된 Java는 플랫폼 독립성, 안정성, 보안성 등을 강점으로 하여…
빅데이터 분석 플랫폼 개요 빅데이터석 플랫폼은 대의 구조화, 반구조, 비구조화 데이터를 수집, 저장, 처리, 분석 시각화할 수 있도록 설계 소프트웨어 시스템 또는 통합 환경을 의미합니다. 현대 기업과 기관은 매일 페타바이트(PB) 단위의 데이터를 생성하며, 이러한 데이터를 효과적으로 활용하기 위해서는 고성능의 분석 인프라가 필수적입니다. 빅데이터 분석 플랫…
산업용 IoT 개요 산업용 IoTIndustrial Internet of Things, IIo)는 사물인터넷(IoT) 기술을 산업야에 적용한 개념으로, 제조, 에너지, 물류, 농업, 인프 등 다양한 산업에서 기계, 센서, 소프트웨어 및 네트워크를 통합하여 데이터 기반의 자동화와 효율성을 극대화하는 시스템을 의미한다. 특히 무선 모니터링(Wireless Mo…