Hadoop 개요 아파치 하둡(Apache Hadoop)은 대용량 데이터를 분산 처리하기 위한 오픈소스 프레임워크로, 구글의 맵리듀스(MapReduce)와 구글 파일 시스템(GFS)을 기반으로 개발되었습니다. 하둡은 수천 대의 일반적인 하드웨어 서버로 구성된 클러스터에서 페타바이트(PB) 규모의 데이터를 저장하고 분석할 수 있는 능력을 제공합니다. 특히, …
검색 결과
"Zookeeper"에 대한 검색 결과 (총 4개)
Apache Kafka (아파치 카프카) 1. 개요 Apache Kafka는 고성능 분산 이벤트 스트리밍 플랫폼으로, 실시간 데이터 파이프라인 구축 및 스트림 분석을 위해 설계된 오픈소스 소프트웨어이다. 전통적인 메시지 큐(Message Queue, MQ)가 메시지의 전달과 소비 후 삭제라는 '전달' 중심의 역할에 집중했다면, Kafka는 데이터를 디스크에…
Paxos (합의 알고리즘) 1. 개요 Paxos는 비동기 네트워크 환경에서 여러 개의 노드가 하나의 값에 대해 합의(Consensus)를 이룰 수 있도록 설계된 분산 컴퓨팅 알고리즘이다. 분산 시스템에서는 네트워크 지연, 패킷 손실, 혹은 일부 노드의 장애(Crash)가 빈번하게 발생한다. 이러한 환경에서 시스템의 일관성을 유지하기 위해서는 모든 정상 노…
멱등성 (Idempotence) 1. 개요 멱등성(Idempotence)이란 동일한 연산을 여러 번 수행하더라도 결과가 처음 한 번 수행했을 때와 동일하게 유지되는 성질을 의미한다. 수학적으로는 함수 에 대하여 다음과 같은 식이 성립할 때 이 함수를 멱등하다고 정의한다. 컴퓨터 과학 및 소프트웨어 공학, 특히 분산 시스템과 API 설계에서 멱등성은 매우 중…