# CUDA (Compute Unified Device Architecture)

**CUDA(Compute Unified Device Architecture)**는 NVIDIA가 개발한 병렬 컴퓨팅 플랫폼 및 API 모델입니다. GPU(Graphics Processing Unit)가 본래 수행하던 그래픽 렌더링 작업을 넘어, 일반적인 계산 작업(General-Purpose computing on GPUs, GPGPU)을 수행할 수 있도록 하여 연산 속도를 획기적으로 가속화하는 기술입니다.

## 주요 특징

CUDA는 GPU의 수천 개 코어를 활용하여 데이터를 동시에 처리하는 병렬 처리 방식을 사용합니다.

- **가속 컴퓨팅**: CPU가 복잡한 제어 흐름을 담당하는 동안, GPU는 단순하고 반복적인 대량의 연산을 동시에 처리하여 전체 실행 시간을 단축합니다.
- **C/C++ 기반 확장**: 개발자가 익숙한 C, C++, Fortran 등의 언어를 사용하여 GPU 커널을 작성할 수 있도록 지원합니다.
- **메모리 계층 구조**: 글로벌 메모리, 공유 메모리, 레지스터 등 다양한 메모리 계층을 통해 데이터 접근 효율을 최적화합니다.

## 핵심 개념

CUDA는 효율적인 병렬 처리를 위해 다음과 같은 계층적 구조를 가집니다.

### 1. 커널 (Kernel)
GPU에서 실행되는 함수를 의미합니다. CPU(Host)에서 호출되어 GPU(Device)의 수많은 스레드에서 동시에 실행됩니다.

### 2. 실행 계층 구조
- **스레드 (Thread)**: 가장 작은 실행 단위입니다.
- **블록 (Block)**: 여러 개의 스레드가 모인 집합으로, 동일한 블록 내의 스레드들은 공유 메모리를 통해 데이터를 교환할 수 있습니다.
- **그리드 (Grid)**: 여러 개의 블록이 모인 최상위 집합으로, 하나의 커널 실행 단위가 됩니다.

## CPU vs GPU 구조 비교

| 구분 | CPU (Central Processing Unit) | GPU (Graphics Processing Unit) |
| :--- | :--- | :--- |
| **설계 목적** | 복잡한 제어 및 직렬 처리 최적화 | 단순 반복 연산 및 병렬 처리 최적화 |
| **코어 수** | 소수의 강력한 코어 (수 개 ~ 수십 개) | 수천 개의 작은 코어 |
| **처리 방식** | SISD / MIMD (직렬 중심) | SIMT (Single Instruction, Multiple Threads) |
| **강점** | 낮은 지연 시간 (Low Latency) | 높은 처리량 (High Throughput) |

## 설치 및 환경 구성

CUDA를 사용하기 위해서는 다음과 같은 소프트웨어 스택이 필요합니다.

- **NVIDIA 드라이버**: GPU 하드웨어를 운영체제에서 인식하고 제어하기 위한 기본 드라이버입니다.
- **CUDA Toolkit**: 컴파일러(nvcc), 라이브러리, 디버깅 도구 등이 포함된 개발 도구 모음입니다.
- **cuDNN (CUDA Deep Neural Network library)**: 딥러닝 연산(Convolution, Pooling 등)에 최적화된 프리미티브를 제공하는 라이브러리로, CUDA 위에 설치됩니다.

## 활용 분야

- **딥러닝 및 AI**: PyTorch, TensorFlow, JAX 등의 프레임워크가 CUDA를 통해 GPU 가속을 구현하여 모델 학습 및 추론 속도를 높입니다.
- **과학 연산**: 분자 동역학 시뮬레이션, 기상 예측, 유체 역학 등 대규모 수치 해석에 사용됩니다.
- **그래픽 렌더링**: 레이 트레이싱(Ray Tracing) 및 고해상도 3D 렌더링 가속에 활용됩니다.
- **암호학**: 대량의 해시 연산이 필요한 암호 해독 및 채굴 작업에 사용됩니다.

## 코드 예제

다음은 CUDA C++를 사용하여 두 배열의 합을 구하는 간단한 커널 함수 예제입니다.

```cpp
#include <iostream>

// CUDA 커널 함수: 각 스레드가 배열의 한 요소를 더함
__global__ void vectorAdd(const float* A, const float* B, float* C, int N) {
    int i = blockIdx.x * blockDim.x + threadIdx.x;
    if (i < N) {
        C[i] = A[i] + B[i];
    }
}

int main() {
    int N = 1 << 20; // 1M elements
    size_t size = N * sizeof(float);

    // 호스트 메모리 할당
    float *h_A = (float*)malloc(size);
    float *h_B = (float*)malloc(size);
    float *h_C = (float*)malloc(size);

    // 디바이스 메모리 할당
    float *d_A, *d_B, *d_C;
    cudaMalloc(&d_A, size);
    cudaMalloc(&d_B, size);
    cudaMalloc(&d_C, size);

    // 데이터 복사 (Host -> Device)
    cudaMemcpy(d_A, h_A, size, cudaMemcpyHostToDevice);
    cudaMemcpy(d_B, h_B, size, cudaMemcpyHostToDevice);

    // 커널 실행: 256개 스레드를 가진 블록으로 그리드 구성
    int threadsPerBlock = 256;
    int blocksPerGrid = (N + threadsPerBlock - 1) / threadsPerBlock;
    vectorAdd<<<blocksPerGrid, threadsPerBlock>>>(d_A, d_B, d_C, N);

    // 결과 복사 (Device -> Host)
    cudaMemcpy(h_C, d_C, size, cudaMemcpyDeviceToHost);

    // 메모리 해제
    cudaFree(d_A); cudaFree(d_B); cudaFree(d_C);
    free(h_A); free(h_B); free(h_C);

    return 0;
}
```

## 최신 동향

현재 CUDA는 **12.x 버전**까지 출시되었으며, 최신 하드웨어 아키텍처를 지속적으로 지원하고 있습니다.

- **지원 아키텍처**:
    - **Hopper (H100)**: 대규모 언어 모델(LLM) 학습 및 추론에 최적화된 Transformer Engine 탑재.
    - **Ada Lovelace (RTX 40 시리즈)**: 3세대 RT 코어 및 4세대 Tensor 코어를 통한 그래픽 및 AI 성능 향상.
    - **Ampere (A100, RTX 30 시리즈)**: 멀티 인스턴스 GPU(MIG) 및 3세대 Tensor 코어 도입.