# PyTorch

## 개요
PyTorch는 Meta AI(구 Facebook AI Research)에서 개발한 오픈 소스 머신러닝 라이브러리로, 파이썬(Python) 기반의 유연한 인터페이스와 강력한 GPU 가속 기능을 제공하는 딥러닝 프레임워크이다. 텐서 계산과 자동 미분 기능을 핵심으로 하며, 연구 단계의 빠른 프로토타이핑부터 대규모 상용 서비스 배포까지 폭넓게 활용되고 있다. 특히 파이썬의 문법적 특성을 최대한 활용하여 직관적인 코딩이 가능하다는 점이 가장 큰 특징이다.

## 핵심 설계 원리
PyTorch의 가장 핵심적인 설계 철학은 **동적 계산 그래프(Dynamic Computational Graph)**, 즉 **Define-by-Run** 방식이다.

### 동적 계산 그래프 (Define-by-Run)
전통적인 딥러닝 프레임워크는 모델의 구조를 먼저 정의하고 데이터를 입력하는 '정적 그래프(Static Graph)' 방식을 사용했다. 반면, PyTorch는 연산이 수행되는 시점에 그래프가 실시간으로 생성된다. 이는 실행 중에 그래프 구조를 변경할 수 있음을 의미하며, 조건문(if)이나 반복문(for)을 이용한 가변적인 네트워크 구조를 구현하는 데 매우 유리하다.

### 정적 그래프 vs 동적 그래프 비교

| 구분 | 정적 그래프 (Static Graph) | 동적 그래프 (Dynamic Graph) |
| :--- | :--- | :--- |
| **작동 방식** | Define-and-Run (선 정의 후 실행) | Define-by-Run (실행하며 정의) |
| **유연성** | 낮음 (구조 변경 시 그래프 재구성 필요) | 높음 (런타임 중 구조 변경 가능) |
| **디버깅** | 어려움 (컴파일 단계와 실행 단계 분리) | 쉬움 (파이썬 표준 디버거 사용 가능) |
| **최적화** | 높음 (전체 그래프 최적화 가능) | 상대적으로 낮음 (단, PyTorch 2.0에서 개선) |
| **대표 예시** | TensorFlow 1.x | PyTorch, TensorFlow 2.x (Eager mode) |

## 주요 구성 요소 및 API

### 텐서 (Tensor)
텐서는 PyTorch의 기본 데이터 구조로, 다차원 배열(Multi-dimensional Array)을 의미한다. NumPy의 `ndarray`와 유사하지만, GPU에서 연산이 가능하다는 결정적인 차이가 있다.

```python
import torch

# 2x3 크기의 0으로 채워진 텐서 생성
x = torch.zeros(2, 3)
# 랜덤 값으로 채워진 텐서 생성
y = torch.randn(2, 3)
# 텐서 덧셈 연산
z = x + y
print(z)
```

### 자동 미분 엔진 (Autograd)
`torch.autograd`는 PyTorch의 핵심 엔진으로, 텐서 연산의 기록을 추적하여 역전파(Backpropagation) 시 필요한 기울기(Gradient)를 자동으로 계산한다. `requires_grad=True` 설정을 통해 특정 텐서의 미분 값을 추적할 수 있으며, 계산된 기울기는 해당 텐서의 `.grad` 속성에 저장된다.

### 신경망 구축 및 최적화 모듈
- **`torch.nn`**: 신경망 계층(Linear, Conv2d, LSTM 등)과 손실 함수(MSELoss, CrossEntropyLoss 등)를 제공하는 고수준 모듈이다.
- **`torch.optim`**: 확률적 경사 하강법(SGD), Adam, RMSprop 등 다양한 최적화 알고리즘을 구현한 모듈이다.

## GPU 가속 및 CUDA 설정
PyTorch는 NVIDIA의 **CUDA(Compute Unified Device Architecture)** 플랫폼을 통해 GPU 가속을 지원한다. 이를 통해 대규모 행렬 연산 속도를 획기적으로 높일 수 있다.

- **장치 지정**: `torch.device`를 사용하여 연산이 수행될 장치(CPU 또는 GPU)를 명시한다.
- **데이터 이동**: `.to(device)` 또는 `.cuda()` 메서드를 사용하여 텐서와 모델의 파라미터를 GPU 메모리로 전송해야 한다.

```python
import torch
import torch.nn as nn

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
# 일관성을 위해 nn.Linear 사용
model = nn.Linear(10, 1).to(device)
data = torch.randn(64, 10).to(device)
```

## 모델 개발 워크플로우
PyTorch의 일반적인 모델 개발 과정은 다음과 같은 파이프라인을 따른다.

**데이터 로딩 $\rightarrow$ 모델 정의 $\rightarrow$ 손실 함수 및 최적화 설정 $\rightarrow$ 학습 루프 구현**

1. **데이터 로딩**: `Dataset` 클래스로 데이터를 정의하고, `DataLoader`를 통해 배치(Batch) 처리 및 셔플링을 수행한다.
2. **모델 정의**: `nn.Module`을 상속받아 네트워크 구조(`__init__`)와 순전파 과정(`forward`)을 정의한다.
3. **손실 함수 및 최적화 설정**: 목적 함수(Loss Function)와 가중치 업데이트 방식(Optimizer)을 선택한다.
4. **학습 루프 구현**: 데이터를 입력하고 $\rightarrow$ 예측값을 계산하고 $\rightarrow$ 손실을 측정하고 $\rightarrow$ 역전파를 통해 가중치를 업데이트하는 과정을 반복한다.

### 데이터 로딩 예제 (`Dataset` & `DataLoader`)
```python
from torch.utils.data import Dataset, DataLoader

class MyDataset(Dataset):
    def __init__(self, x_data, y_data):
        self.x_data = x_data
        self.y_data = y_data
        
    def __len__(self):
        return len(self.x_data)
    
    def __getitem__(self, idx):
        return self.x_data[idx], self.y_data[idx]

# 가상 데이터 생성 및 로더 설정
x_train = torch.randn(100, 10)
y_train = torch.randn(100, 1)
dataset = MyDataset(x_train, y_train)
dataloader = DataLoader(dataset, batch_size=16, shuffle=True)
```

### `nn.Module` 상속 구조 상세 예제
```python
import torch.nn as nn
import torch.nn.functional as F

class SimpleNet(nn.Module):
    def __init__(self):
        super(SimpleNet, self).__init__()
        # 계층 정의
        self.fc1 = nn.Linear(10, 20)
        self.fc2 = nn.Linear(20, 1)

    def forward(self, x):
        # 순전파 연산 정의
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = SimpleNet()
```

### 최소 기능 모델 학습 예시
```python
import torch
import torch.nn as nn
import torch.optim as optim

# 1. 모델, 손실함수, 최적화 설정
model = nn.Linear(10, 1) 
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 2. 데이터 로더 사용 (위의 DataLoader 예시 활용)
# for inputs, targets in dataloader: ...

# 가상 데이터로 단순화한 루프 예시
inputs = torch.randn(64, 10)
targets = torch.randn(64, 1)

# 3. 학습 루프
for epoch in range(100):
    optimizer.zero_grad()           # 기울기 초기화
    outputs = model(inputs)         # 순전파
    loss = criterion(outputs, targets) # 손실 계산
    loss.backward()                 # 역전파 (기울기 계산)
    optimizer.step()                # 가중치 업데이트
```

## PyTorch 2.0과 `torch.compile`
PyTorch 2.0 버전의 핵심 업데이트는 **`torch.compile`**의 도입이다. 이는 기존 동적 그래프의 유연성을 유지하면서도, 정적 그래프의 성능 이점을 얻기 위한 컴파일러 기술이다.

- **작동 원리**: Triton 기반의 커널 생성 및 그래프 캡처 기술을 사용하여 연산자 융합(Operator Fusion)을 수행한다.
- **효과**: 코드 수정 없이 `model = torch.compile(model)` 한 줄의 추가만으로 학습 및 추론 속도를 크게 향상시킬 수 있다.

## 생태계 및 확장 도구
PyTorch는 다양한 도메인별 확장 라이브러리를 통해 생태계를 확장하고 있다.

- **PyTorch Lightning**: 학습 루프의 반복적인 코드(Boilerplate)를 제거하고 모델 구조에만 집중할 수 있게 돕는 고수준 래퍼 라이브러리이다.
- **TorchVision**: 이미지 처리, 컴퓨터 비전 모델(ResNet, ViT 등) 및 데이터셋(MNIST, ImageNet)을 제공한다.
- **TorchText**: 자연어 처리(NLP)를 위한 텍스트 전처리 도구와 데이터셋을 제공한다.
- **TorchAudio**: 오디오 신호 처리 및 딥러닝 모델을 지원한다.

## 배포 및 최적화
연구용 모델을 실제 프로덕션 환경에 적용하기 위해 다음과 같은 도구를 사용한다.

- **TorchScript**: PyTorch 모델을 직렬화하여 Python 런타임 없이 C++ 환경에서도 실행 가능하게 만드는 도구이다. (Tracing 및 Scripting 방식 제공)
- **ONNX (Open Neural Network Exchange)**: 모델을 공통 포맷으로 변환하여 TensorRT, ONNX Runtime 등 타 프레임워크나 하드웨어 가속기에서 실행할 수 있게 한다.
- **Quantization (양자화)**: 가중치의 정밀도(예: FP32 $\rightarrow$ INT8)를 낮추어 모델 크기를 줄이고 추론 속도를 높이는 기법이다.

## 공식 문서 및 튜토리얼
더 자세한 정보와 실습 예제는 아래 공식 채널을 통해 확인할 수 있다.

- [PyTorch 공식 문서 (Official Documentation)](https://pytorch.org/docs/)
- [PyTorch 튜토리얼 (Tutorials)](https://pytorch.org/tutorials/)
- [PyTorch GitHub 저장소](https://github.com/pytorch/pytorch)