# 빅데이터 (Big Data)

## 1. 개요
빅데이터란 기존의 데이터베이스 관리 도구로는 수집, 저장, 관리, 분석하기 어려울 정도로 방대한 양과 다양한 형태를 가진 데이터 집합, 그리고 이를 처리하고 분석하여 가치 있는 정보를 추출하는 기술을 의미한다.

전통적인 데이터가 주로 정형화된 수치나 텍스트 중심의 관계형 데이터베이스(RDBMS)에 저장되었다면, 빅데이터는 로그 기록, SNS 게시글, 영상, 센서 데이터 등 비정형 데이터를 포함하며 생성 속도가 매우 빠르다는 특징이 있다. 현대 사회에서 빅데이터는 단순한 정보의 축적을 넘어, 데이터 기반의 의사결정(Data-Driven Decision Making)을 가능하게 함으로써 기업의 경쟁력 강화와 공공 서비스의 효율성을 높이는 핵심 자산으로 평가받는다.

## 2. 빅데이터의 특징 (5V)
빅데이터를 정의하는 핵심 요소는 초기 3V(Volume, Velocity, Variety)에서 시작하여 현재는 정확성과 가치를 포함한 5V로 확장되었다.

| 요소 | 정의 | 구체적인 예시 |
| :--- | :--- | :--- |
| **규모 (Volume)** | 데이터의 물리적인 양이 매우 방대함 | 테라바이트(TB) → 페타바이트(PB) 단위의 로그 데이터 |
| **속도 (Velocity)** | 데이터가 생성, 유입, 처리되는 속도가 매우 빠름 | 실시간 주식 거래 데이터, IoT 센서의 스트리밍 데이터 |
| **다양성 (Variety)** | 정형, 반정형, 비정형 등 데이터의 형태가 다양함 | 텍스트, 이미지, 오디오, JSON, XML, HTML 파일 |
| **정확성 (Veracity)** | 데이터의 품질, 신뢰성 및 노이즈 제거의 중요성 | SNS의 허위 정보 필터링, 센서 오작동 데이터 보정 |
| **가치 (Value)** | 분석을 통해 비즈니스나 사회적 이익을 창출하는 능력 | 고객 구매 패턴 분석을 통한 매출 증대, 질병 예측 |

## 3. 데이터 수집 및 처리 기술
빅데이터는 데이터의 형태에 따라 수집 및 처리 방식이 달라지며, 단일 서버의 한계를 극복하기 위해 분산 환경을 활용한다.

### 3.1 데이터의 형태
*   **정형 데이터 (Structured Data):** 고정된 필드에 저장된 데이터 (예: SQL DB, 엑셀 시트)
*   **반정형 데이터 (Semi-structured Data):** 고정된 형태는 없으나 스키마(Schema, 데이터 구조 정의) 정보를 포함한 데이터 (예: JSON, XML, HTML)
*   **비정형 데이터 (Unstructured Data):** 일정한 규칙이 없는 데이터 (예: 텍스트 문서, 이미지, 영상, 음성)

### 3.2 분산 컴퓨팅 및 저장 기술
*   **Hadoop (하둡):** 여러 대의 컴퓨터를 하나로 묶어 대용량 데이터를 분산 저장(HDFS)하고 처리(MapReduce)하는 오픈소스 프레임워크이다.
*   **Apache Spark (스파크):** 하둡의 맵리듀스 방식을 개선하여 인메모리(In-memory) 처리 방식을 도입, 데이터 처리 속도를 획기적으로 높인 분석 엔진이다.
*   **NoSQL (Not Only SQL):** 전통적인 관계형 DB의 제약을 벗어나 **수평적 확장성(Scalability)**과 **유연한 스키마**를 제공하는 비관계형 데이터베이스이다. 데이터 모델에 따라 다음과 같이 분류된다.
    *   **Key-Value:** 키-값 쌍으로 저장 (예: Redis)
    *   **Document:** JSON/BSON 형태의 문서로 저장 (예: MongoDB)
    *   **Column-family:** 열 단위로 데이터를 저장 (예: Cassandra, HBase)
    *   **Graph:** 노드와 엣지로 관계를 저장 (예: Neo4j)

### 3.3 데이터 저장소: 데이터 웨어하우스 vs 데이터 레이크
*   **데이터 웨어하우스 (Data Warehouse):** 분석을 목적으로 정제된 정형 데이터를 저장하는 중앙 저장소이다. 스키마가 미리 정의되어 있어(Schema-on-write) 쿼리 속도가 빠르고 보고서 작성에 유리하다.
*   **데이터 레이크 (Data Lake):** 정형, 반정형, 비정형 데이터를 가공하지 않은 원시 상태(Raw Data) 그대로 저장하는 거대한 저장소이다. 저장 시점에 스키마를 정의하지 않고 분석 시점에 정의(Schema-on-read)하므로 유연성이 매우 높다.

## 4. 빅데이터 분석 프로세스
빅데이터 분석은 원천 데이터로부터 인사이트를 도출하기까지의 체계적인 파이프라인을 거친다.

### 4.1 데이터 생애주기 다이어그램
```mermaid
graph LR;
    A[데이터 생성] --> B[수집 Ingestion]
    B --> C[저장 Storage]
    C --> D[전처리 Preprocessing]
    D --> E[분석 Analysis]
    E --> F[시각화 Visualization]
    F --> G[인사이트 도출 및 적용]
```

### 4.2 단계별 핵심 과업
1.  **수집:** 크롤링, API, 로그 수집기(Flume, Kafka) 등을 통해 데이터를 확보한다.
2.  **전처리:** 결측치 처리, 이상치 제거, 데이터 정규화 등을 통해 분석 가능한 형태로 정제한다.
3.  **분석:** 통계적 분석, 머신러닝 모델링, 텍스트 마이닝 등을 통해 패턴을 발견한다.
4.  **시각화:** 분석 결과를 그래프, 차트, 대시보드(Tableau, Power BI) 형태로 변환하여 직관적으로 이해하게 한다.
5.  **인사이트 도출:** 분석 결과를 바탕으로 전략을 수립하거나 문제를 해결하는 최종 결론을 내린다.

## 5. 빅데이터 분석 도구 비교
분석 목적과 데이터의 특성에 따라 사용하는 도구가 다르다.

| 분류/카테고리 | 도구 | 주요 특징 | 주 용도 |
| :--- | :--- | :--- | :--- |
| **언어** | Python, R | 풍부한 라이브러리, 데이터 과학 표준 언어 | 데이터 분석, 모델링 |
| **분산 처리** | Hadoop, Spark | 대규모 클러스터 기반 병렬 처리 | 대용량 데이터 배치/실시간 처리 |
| **저장소** | MongoDB, HBase | 스키마리스(Schemaless), 수평적 확장 가능 | 비정형 데이터 저장 |
| **시각화** | Tableau, Power BI | 드래그 앤 드롭 방식의 인터랙티브 대시보드 | 비즈니스 인텔리전스(BI) |
| **쿼리/분석** | Hive, Presto | SQL과 유사한 문법으로 분산 데이터 쿼리 | 데이터 웨어하우징 |

## 6. 주요 활용 사례
*   **공공 분야:** 유동인구 분석을 통한 최적의 버스 노선 설계, 감염병 확산 경로 예측 및 방역 체계 구축, 범죄 다발 지역 분석을 통한 효율적 경찰력 배치.
*   **금융 분야:** 실시간 거래 패턴 분석을 통한 이상금융거래탐지시스템(FDS) 운영, 개인 맞춤형 신용 평가 모델 개발, 알고리즘 트레이딩을 통한 투자 최적화.
*   **의료 분야:** 환자의 유전체 데이터와 임상 기록 분석을 통한 정밀 의료(Precision Medicine) 구현, 질병 조기 진단 및 신약 개발 기간 단축.
*   **마케팅 분야:** 고객의 구매 이력 및 행동 로그 분석을 통한 개인화 추천 시스템(Recommendation System) 구축, 소셜 미디어 감성 분석을 통한 브랜드 평판 관리.

## 7. 최신 트렌드: AI와의 결합 (Big Data $\times$ AI)
최근 빅데이터는 인공지능(AI), 특히 딥러닝의 학습 데이터셋으로 활용되며 상호 보완적인 관계를 형성하고 있다.

*   **LLM (거대언어모델) 학습:** GPT-4와 같은 모델은 웹상의 방대한 텍스트 빅데이터를 학습하여 자연어 처리 능력을 획득한다.
*   **실시간 예측 분석:** 스트리밍 데이터와 AI 모델을 결합하여 실시간으로 수요를 예측하거나 장비의 고장을 예견하는 예지 보전(Predictive Maintenance) 기술이 확산되고 있다.
*   **자동화된 데이터 분석 (AutoML):** 빅데이터 분석의 복잡한 전처리 및 모델 선택 과정을 AI가 자동으로 수행하여 분석의 진입 장벽을 낮추고 있다.

## 8. 한계 및 윤리적 쟁점
빅데이터의 활용도가 높아짐에 따라 다음과 같은 사회적, 기술적 과제가 제기되고 있다.

*   **프라이버시 및 개인정보 침해:** 데이터 수집 과정에서 개인 식별 정보가 포함될 위험이 있으며, 비식별 처리된 데이터라도 다른 데이터와 결합 시 재식별될 가능성이 존재한다. 이를 규제하기 위해 유럽의 **GDPR(일반 데이터 보호 규칙)**이나 한국의 **개인정보 보호법**과 같은 법적 프레임워크가 강화되고 있다.
*   **알고리즘 편향성:** 학습 데이터 자체가 특정 집단에 편향되어 있을 경우, AI 모델이 차별적인 결과를 도출하는 '알고리즘 편향' 문제가 발생할 수 있다. 이는 채용, 대출 심사 등 사회적 결정 과정에서 공정성 문제를 야기한다.
*   **데이터 거버넌스:** 데이터의 품질 관리, 소유권 정의, 보안 표준 수립 등 데이터를 체계적으로 관리하기 위한 거버넌스(Governance) 체계 구축이 필수적이다.
*   **데이터 주권:** 국가 간 데이터 이동 및 저장 위치에 따른 데이터 주권(Data Sovereignty) 갈등과 이에 따른 데이터 로컬라이제이션 정책이 쟁점이 되고 있다.