# Hadoop HDFS

## 개요

**Hadoop HDFSHadoop Distributed File System)는파치 하둡pache Hadoop)로젝트의심 구성 요소 중 하나, 대용량 데이터를 분산 환경에서 안정적이고 효율적으로 저장하기 위한 분산 파일 시스템입니다. HDFS는천 대의 일반적인 상용 하드웨어로 구성된 클러스터에서 페타바이트(PB) 규모의 데이터를 저장하고 처리할 수 있도록 설계되었습니다. 특히, 고장에 강한(fault-tolerant) 아키텍처와 대용량 데이터 스트리밍 처리에 최적화된 특징을 가지고 있어 빅데이터 환경에서 널리 사용됩니다.

HDFS는 Google의 GFS(Google File System) 논문에서 영감을 받아 개발되었으며, 오픈소스 기반으로 누구나 자유롭게 사용하고 수정할 수 있습니다. 주로 배치 처리(batch processing) 기반의 애플리케이션에 적합하며, 실시간 처리보다는 대규모 데이터 분석 작업에 최적화되어 있습니다.

---

## 아키텍처

HDFS는 **마스터-슬레이브**(Master-Slave) 구조로 구성되며, 주요 구성 요소는 다음과 같습니다.

### 1. 네임노드 (NameNode)

- **역할**: 메타데이터 관리
- 네임노드는 파일 시스템의 네임스페이스(namespace)와 메타데이터(예: 파일 구조, 접근 권한, 블록 위치 정보 등)를 관리하는 마스터 역할을 수행합니다.
- 클라이언트가 파일을 읽거나 쓰기 요청을 할 때, 네임노드는 해당 파일이 어떤 데이터노드에 저장되어 있는지 정보를 제공합니다.
- 단일 실패 지점(SPOF, Single Point of Failure)이 될 수 있으므로, HA(High Availability) 구성에서는 보조 네임노드(Secondary NameNode) 또는 정밀한 장애 복구 메커니즘(예: Quorum Journal Manager)이 사용됩니다.

### 2. 데이터노드 (DataNode)

- **역할**: 실제 데이터 저장 및 처리
- 데이터노드는 클러스터 내의 각 워커 노드에서 실행되며, 파일 데이터를 블록 단위로 저장하고 관리합니다.
- 일반적으로 파일은 128MB 또는 256MB 크기의 블록으로 분할되어 여러 데이터노드에 복제 저장(replication)됩니다.
- 네임노드에 주기적으로 하트비트(heartbeat)를 전송하여 활성 상태를 알리고, 블록 보고(block report)를 통해 저장된 데이터를 확인합니다.

### 3. 블록 (Block)

- HDFS는 파일을 고정된 크기의 블록으로 분할하여 저장합니다. 기본 블록 크기는 Hadoop 버전에 따라 다릅니다.
  - Hadoop 1.x: 64MB
  - Hadoop 2.x 이상: 기본 128MB (설정 가능)
- 블록 기반 저장은 효율적인 데이터 처리와 병렬화를 가능하게 합니다.

---

## 주요 특징

### 1. 고장 허용성 (Fault Tolerance)

HDFS는 데이터의 **복제**(replication)를 통해 고장에 대비합니다. 기본적으로 각 데이터 블록은 3개의 서로 다른 데이터노드에 복제되어 저장됩니다. 만약 하나의 데이터노드가 다운되더라도, 나머지 복제본을 통해 데이터 접근이 가능합니다.

```xml
<!-- hdfs-site.xml 설정 예시 -->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
```

### 2. 확장성 (Scalability)

HDFS는 수평 확장(Horizontal Scaling)이 가능하여, 새로운 데이터노드를 추가함으로써 용량과 처리 능력을 쉽게 늘릴 수 있습니다. 수천 대의 노드를 지원하며, 페타바이트급 데이터 저장이 가능합니다.

### 3. 스트리밍 데이터 접근

HDFS는 **쓰기 한 번, 읽기 여러 번**(write-once, read-many) 모델을 따릅니다. 데이터는 한번 쓰고 나면 수정되지 않으며, 대신 스트리밍 방식으로 순차적으로 읽는 데 최적화되어 있습니다. 이는 MapReduce와 같은 배치 처리 프레임워크와 잘 맞습니다.

### 4. 하드웨어 독립성

HDFS는 일반적인 상업용 하드웨어(Commodity Hardware)에서 동작하도록 설계되어 있어, 고가의 전용 스토리지 시스템 없이도 대용량 데이터를 저장할 수 있습니다.

---

## HDFS 운영 및 관리

### 파일 시스템 명령어

HDFS는 `hdfs dfs` 명령어를 통해 파일 조작이 가능합니다. 주요 명령어는 다음과 같습니다:

```bash
# 파일 업로드
hdfs dfs -put localfile.txt /user/hadoop/

# 파일 다운로드
hdfs dfs -get /user/hadoop/file.txt localfile.txt

# 디렉터리 목록 확인
hdfs dfs -ls /

# 파일 삭제
hdfs dfs -rm /user/hadoop/file.txt

# 디스크 사용량 확인
hdfs dfs -du -h /
```

### 모니터링 및 상태 확인

- **HDFS Web UI**: 기본적으로 네임노드는 `http://<namenode-host>:9870`에서 웹 인터페이스를 제공합니다. 여기서 클러스터 상태, 스토리지 사용량, 데이터노드 목록 등을 확인할 수 있습니다.
- **명령어를 통한 상태 확인**:
  ```bash
  hdfs dfsadmin -report
  ```

---

## 사용 사례

- **빅데이터 분석 플랫폼의 저장소**: 스파크(Spark), 하이브(Hive), 피그(Pig) 등은 HDFS를 기본 저장소로 활용합니다.
- **로그 데이터 저장**: 웹 서비스의 접근 로그, 애플리케이션 로그 등을 장기간 저장하고 분석할 때 사용됩니다.
- **머신러닝 데이터 파이프라인**: 대용량 학습 데이터셋을 저장하고 전처리하는 데 활용됩니다.

---

## 참고 자료 및 관련 문서

- [Apache Hadoop 공식 문서](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html)
- Google GFS 논문 (2003): "The Google File System"
- HDFS HA 구성 가이드
- Hadoop Ecosystem (YARN, MapReduce, HBase 등)

HDFS는 현대 빅데이터 인프라의 기초적인 저장 계층으로, 클라우드 환경에서도 여전히 중요한 역할을 하고 있습니다. 다만, 최근에는 객체 저장소(S3, GCS)와 결합된 클라우드 네이티브 아키텍처가 대안으로 부상하고 있으나, 온프레미스 환경이나 고성능 요구 작업에서는 여전히 강력한 선택지입니다.