# 병렬 처리

## 개요

**렬 처리**(Parallel Processing)는 하나의 작업을 여러 개의 하위 작업으로 나누어 동시에 수행함으로써 처리 속도를 향상시키는 컴퓨팅 기법이다. **머신러**(Machine Learning) 분에서 대량의 데이터를 처리하고잡한 모델을 학습시키는 있어 병렬 처리는 필수적인 기술로 자리 잡고 있다. 머신러닝 알고리즘은 보통 수백만 개의 매개변수를 조정하며 수많은 행 연산을 수행하므로, 단일 프로세서에서 순차적으로 처리하기에는 시간과 자원이 매우 비효율적이다. 이에 따라 CPU 코어, GPU, TPU 등의 하드웨어 자원을 병렬로 활용하는 기법들이 발전해왔다.

본 문서에서는 머신러닝에서의 병렬 처리 개념, 주요 접근 방식, 활용 사례, 그리고 관련 기술적 고려사항에 대해 설명한다.

---

## 병렬 처리의 필요성

머신러닝, 특히 딥러닝(Deep Learning) 모델은 다음과 같은 특성으로 인해 병렬 처리가 필수적이다:

- **대규모 데이터셋**: ImageNet, COCO 등 수백만 개의 샘플을 포함하는 데이터셋 처리
- **복잡한 모델 구조**: 수십 층 이상의 신경망(예: ResNet, Transformer)
- **반복적인 최적화 과정**: 경사하강법(Gradient Descent) 기반의 수천~수백만 번의 반복 학습
- **비용 효율성**: 학습 시간 단축을 통한 자원 절약

이러한 요인들로 인해, 병렬 처리는 단순한 성능 향상을 넘어 모델 개발의 현실적인 가능성을 결정짓는 요소가 되었다.

---

## 병렬 처리의 주요 방식

병렬 처리는 하드웨어 자원의 구성과 알고리즘 설계 방식에 따라 다음과 같은 주요 접근 방식으로 나뉜다.

### 1. 데이터 병렬 처리 (Data Parallelism)

가장 널리 사용되는 방식으로, **동일한 모델을 여러 장치에 복제**하고, **입력 데이터를 분할**하여 각 장치에서 동시에 처리한다.

- 각 장치(예: GPU)는 데이터의 일부(batch)를 받아 순전파(forward pass)와 역전파(backward pass)를 수행
- 기울기(gradient)는 모든 장치에서 계산된 후, **기울기 평균화**를 통해 모델 파라미터를 업데이트

**장점**:
- 구현이 비교적 간단
- 대부분의 딥러닝 프레임워크(예: PyTorch, TensorFlow)에서 기본 지원

**단점**:
- 장치 간 통신(예: All-Reduce)이 병목 현상을 유발할 수 있음

> 예: 4개의 GPU로 배치 크기 256을 처리할 때, 각 GPU는 64개의 샘플을 처리하고, 기울기를 모아 평균 업데이트

### 2. 모델 병렬 처리 (Model Parallelism)

모델의 구조를 여러 장치에 분할하여 처리하는 방식이다. 특히 **매우 큰 모델**(예: GPT-3, PaLM)에서 사용된다.

- 예: 신경망의 앞부분은 GPU 1, 중간부분은 GPU 2, 마지막 부분은 GPU 3에서 처리
- 각 장치는 모델의 일부만 저장하고 연산을 수행

**장점**:
- 단일 장치의 메모리 한계를 극복 가능

**단점**:
- 장치 간 데이터 전송 빈도가 높아 성능 저하 가능성
- 구현이 복잡하고 최적화가 어려움

### 3. 파이프라인 병렬 처리 (Pipeline Parallelism)

모델 병렬 처리의 일종으로, 모델을 여러 단계(stage)로 나누고, **다른 입력 배치를 동시에 각 단계에서 처리**하는 방식이다.

- 예: 첫 번째 배치가 2단계를 처리하는 동안, 두 번째 배치는 1단계를 처리
- 마치 공장의 조립 라인처럼 작동

**장점**:
- 장치 간 대기 시간을 줄일 수 있음

**단점**:
- 초기 지연 시간(bubble) 발생
- 부하 균형(load balancing)이 중요

### 4. 텐서 병렬 처리 (Tensor Parallelism)

하나의 연산(예: 행렬 곱셈)을 여러 장치에 분할하여 수행하는 고급 기법.

- 예: 크기 (1024×1024)의 행렬 곱셈을 4개의 GPU에 분할하여 각각 부분 연산 수행 후 결과 통합
- 주로 매우 큰 선형 변환 레이어에서 사용

**장점**:
- 대규모 텐서 연산의 효율적 처리

**단점**:
- 통신 오버헤드 큼, 알고리즘 설계 복잡

---

## 머신러닝 프레임워크에서의 지원

주요 딥러닝 프레임워크들은 병렬 처리를 위한 다양한 도구를 제공한다.

| 프레임워크 | 지원 기능 |
|-----------|---------|
| **PyTorch** | `torch.nn.DataParallel`, `torch.nn.parallel.DistributedDataParallel`, `FSDP` (Fully Sharded Data Parallel) |
| **TensorFlow** | `tf.distribute.Strategy`, `MirroredStrategy`, `TPUStrategy` |
| **JAX** | `pmap`, `sharding` 기반의 고성능 병렬 처리 |

특히 `DistributedDataParallel` (DDP)은 데이터 병렬 처리에서 통신 효율을 극대화한 기술로, 현재 산업계 표준으로 자리 잡고 있다.

---

## 관련 하드웨어 기술

병렬 처리의 성능은 하드웨어 구성에 크게 의존한다.

- **GPU**(Graphics Processing Unit): 수천 개의 코어를 가진 병렬 연산 최적화 칩
- **TPU**(Tensor Processing Unit): 구글이 개발한 텐서 연산 전용 칩
- **NVLink / InfiniBand**: 고속 장치 간 통신 인터페이스, 데이터 전송 병목 완화

---

## 결론 및 참고 자료

병렬 처리는 현대 머신러닝 시스템의 핵심 기반 기술이다. 데이터 병렬 처리부터 고급 텐서 병렬 처리까지 다양한 기법이 있으며, 모델의 규모와 자원 제약에 따라 적절한 방식을 선택하는 것이 중요하다. 향후 **초거대 모델**(LLM)과 **실시간 학습** 시스템의 발전에 따라 병렬 처리 기술은 더욱 정교해질 전망이다.

### 참고 자료
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press.
- PyTorch Documentation: [https://pytorch.org/docs/stable/distributed.html](https://pytorch.org/docs/stable/distributed.html)
- TensorFlow Distribution Strategy Guide: [https://www.tensorflow.org/guide/distributed_training](https://www.tensorflow.org/guide/distributed_training)
- NVIDIA Developer Blog - Parallel Computing in Deep Learning: [https://developer.nvidia.com/blog](https://developer.nvidia.com/blog)

> **관련 문서**: [딥러닝](/wiki/딥러닝), [분산 학습](/wiki/분산_학습), [GPU 컴퓨팅](/wiki/GPU_컴퓨팅)